若兰幽竹-CSDN博客

原创【本地部署大模型ChatGLM3-6B】

本地部署大模型需要注意的是电脑的GPU需要是独显，且有足够的显存。否则，无法运行该大模型。由此，我们可以看出，玩大模型首先需要的就是有好的硬件资源（费钱）。到此，本地部署大模型就到此结束了，感兴趣的朋友，可以尝试下，或者自己做一个网页版的对话方式。

2024-05-16 22:00:29 566

原创【基于Hadoop3.3.6+Spark3.4.3电商用户行为分析】

电商用户分析是指对电商平台上的用户进行细分和分析，以了解用户特征、行为和需求，从而优化产品、服务和营销策略。本文主要利用Spark框架分析用户在电商平台上的行为，如浏览商品、购买商品、添加到购物车等，以了解用户的购买意愿、偏好和行为路径，针对其中部分数据分别统计出用户点击行为、下单行为、支付行为以及网站的浏览量PV等数据，进而分析电商系统的用户转化率、用户留存率等指标，帮助电商企业更好的实现经营目标。系统整体流程介绍：本系统采用Spark框架对电商日志进行处理和分析，并将处理结果存入MySQL中，再通过s

2024-05-06 23:58:29 730 2

原创【openLooKeng集成Hive连接器完整过程】

本文主要介绍在openLooKeng中如何使用Hive连接器，并在Hive连接器上对表进行增删改查等操作。openLooKeng如想正常使用Hive连接器相关功能，前提是需要事先安装部署Hive，而Hive的安装依赖于Hadoop环境（如Hive使用远程模式安装则还需要依赖于MySQL，其元数据存储于MySQL中）。故，本文将先完成对Hadoop的安装和MySQL的安装，再对hive进行安装，最后在openLooKeng中配置Hive连接器即可。

2024-05-01 22:40:24 864 5

原创【openLooKeng-1.10.0集群环境安装部署】

通过在华为开源的openEuler20.03 LTS SP1操作系统上安装部署一种"开箱即用"的引擎openLooKeng，当完成openLooKeng单机版后，能对其基本的操作，如登录Web界面查看相关模式、JMX基本操作等之后，进一步对其分布式特性进行学习，如集群的安装部署是第一步。本文主要介绍如何在两台搭载openEuler操作系统上安装openLooKeng的集群。

2024-04-25 17:07:59 890 1

原创【CLI命令行接口和Java连接openLooKeng查询数据】

通过CLI命令行接口工具连接openLooKeng，可帮助初学者能够使用SQL语句的方式快速操作openLooKeng，任何只要熟悉SQL的人都可以快速切换到openLooKeng的技术栈当中，借助其快速完成大数据相关数据分析任务。通过使用Java API的方式操作openLooKeng，可帮助Java开发人员能够快速上手，从而能以编程的方式操作openLooKeng（这也是真实生成环境中习以为常的方式），进而帮助开发人员快速构建基于openLooKeng进行大数据分析的能力。

2024-04-24 17:54:23 785

原创【基于国产openEuler操作系统手动安装openLooKeng1.10.0单机版】

通过在华为开源的openEuler20.03 LTS SP1操作系统上安装部署一种"开箱即用"的引擎openLooKeng，该引擎支持在任何地点（包括地理上的远程数据源）对任何数据进行原位分析。当完成openLooKeng单机版后，能对其基本的操作，如登录Web界面查看相关模式、JMX基本操作等。本文是学习openLooKeng的基础，只有在实践中学习，才感受到无穷的乐趣。

2024-04-24 12:18:54 799

原创【Hadoop3.3.6】数据块副本放置策略及解析EditLog和FsImage

目录一、摘要二、正文2.1 环境说明2.2 网络拓扑2.3 Hadoop副本放置策略介绍2.4 解析EditLog和Fsimage镜像文件三、小结一、摘要通过解析存储于NameNode节点上的日志文件EditLog和镜像文件（元数据）Fsimage来反向验证HDFS的数据块副本存放策略，其目的是希望加深对Hadoop的数据块放置策略的理解以及掌握如何查看日志文件及镜像文件的方法和理解其内容。二、正文2.1 环境说明软件说明VMWareWorkstation版本16.2.+

2024-04-22 23:27:41 1441

原创【Hadoop3.3.6全分布式环境搭建】

上传jdk-8u171-linux-x64.tar.gz到/root目录下，然后执行下面的命令进行解压安装。如果不一样的话，我们在执行MapReduce程序的时候可能会存在问题.。将master上的hadoop环境复制到slave01 slave02。1）搭建一个时间同步的服务器，网上很多教程可以使用。4、配置免密码登录（配置两两之间的免密码登录）3、所有主机都需要配置主机名映射关系。所有的机器都需要产生一对密钥：公钥和私钥。

2024-04-20 22:50:51 1068 2

原创【openGauss5.0.0】数据库恢复XLOG分析

xlog当前插入点：0/244FE20,当前插入的xlog segment为：000000010000000000000002，LSN为：4521504。打开新的SSH会话窗口以immediate模式关闭数据库。重启数据库，查看t3表数据及当前xlog插入点及LSN。说明重启后，数据库需要重做日志，将数据进行恢复。打开新的SSH会话窗口以fast模式关闭数据库。查看当前xlog插入点及LSN所在WAL的位置。再重启数据库，查看t3表数据及运行日志变化情况。，这个值和第9步骤看到的是一样的。

2024-03-25 22:37:34 975

原创【基于openGauss2.1.0企业版安装X-Tuner参数调优工具】

遇到的问题：/tmp存储空间不足，如。新建setup.cfg文件。新增pip.conf文件。

2024-01-06 08:58:11 445

原创【导出与导入Virtualbox虚拟机和启动连接openGauss数据库】

到此，已完成了【导出与导入Virtualbox虚拟机和启动连接openGauss数据库】，接下来的事情你们自己可以愉快的玩耍了！启动后，登录到虚拟机中（

2024-01-04 17:26:20 1069

原创【openGauss服务器端工具的使用】

gs_check改进增强，统一化当前系统中存在的各种检查工具，例如gs_check、gs_checkos等，帮助用户在openGauss运行过程中，全量的检查openGauss运行环境、操作系统环境、网络环境及数据库执行环境，也有助于在openGauss重大操作之前对各类环境进行全面检查，有效保证操作执行成功。数据库运行时，某些操作在执行过程中可能会出现错误，数据库依然能够运行。当openGauss发生故障时，使用 gs_collector 此工具收集OS信息、日志信息以及配置文件等信息，来定位问题。

2024-01-03 22:49:25 981

原创【解决openGauss无法使用gs_check等服务器端命令问题】

-h 后面的IP地址换成你自己环境中数据库所在主机IP地址。重新执行openGauss服务器端命令，如下所示，正常显示。该命令执行成功后，会在omm用户家目录下生成一个隐藏目录。切换到omm系统用户下，执行如下命令生成密钥对。数据库所在主机之间没有实现SSH免密登录。

2024-01-03 17:40:46 560

原创【创建VirtualBox虚拟机并安装openEuler20.03 TLS SP1操作系统】

鼠标点击屏幕（虚拟机黑色屏幕）按电脑键盘上上下键选择第一个选项：Install openEuler 20.03-LTS-SP1。

2024-01-03 13:44:59 515

原创【基于VirtualBox及openEuler20.03 TLS SP1编译openGauss2.1.0源码】

下载openGauss源码和openGauss-third_party_binarylibs第三方库，进入到/opt/software目录下，下载openGauss2.1.0 源码和下载openGauss-third_party_binarylibs-2.1.0，由于开源软件编译构建耗时长，我们特地使用openGauss-third_party编译构建出了一份binarylibs并压缩上传到了网上，用户可以直接下载获取。，进入解压后的目录openeuler-lsb-5.0，将其中的。

2023-12-27 23:09:04 1001

原创基于openGauss5.0.0全密态数据库等值查询小案例

密态数据库意在解决数据全生命周期的隐私保护问题，使得系统无论在何种业务场景和环境下，数据在传输、运算以及存储的各个环节始终都处于密文状态。当数据拥有者在客户端完成数据加密并发送给服务端后，在攻击者借助系统脆弱点窃取用户数据的状态下仍然无法获得有效的价值信息，从而起到保护数据隐私的作用。2. 特性介绍从用户视角来看，整个密态等值查询的主要功能分为三部分，主要通过新增的KeyTool工具以及openGauss的增强gsql客户端来实现。首先是客户端密钥管理功能。

2023-12-26 10:50:19 328

原创【基于openGauss5.0.0简单使用DBMind】

其他的有关DBMind的功能，大家感兴趣，可自行测试，希望对您有所帮助~~~~~感兴趣可以查看下queries.sql内容，看下生成了哪些SQL语句。为了测试AP性能，以omm用户上传tpch_ap_data.sql（查看了supplier表的总记录数为：10000条。至此，已完后TPCH测试数据的导入工作。至此，已完成了查询语句的生成。

2023-12-06 14:31:13 443

原创【基于VirtualBox和openEuler20.03 TLS安装openGauss5.0.0及安装DBMind】

因此，它与prometheus是一一对应的，即如果只有一个prometheus服务，则只需要一个reprocessing_exporter即可。prometheus和reprocessing_exproter一起部署在主控节点上，reprocessing_exproter依赖prometheus，所以需要先启动prometheus再启动reprocessing_exporter。安装Prometheus，并将其上传到omm用户的家目录/home/omm，修改其用户和用户组为omm:dbgrp。

2023-12-05 23:07:25 1349

原创基于Virtualbox和openEuler20.03 TLS一键式安装openGauss5.0.0企业版（单机版）

8）修改clusterconfig.xml：将hostname和ip改成你自己虚拟机的主机名称和IP。9）执行install.sh：在执行过程中，需要输入4次密码。7）上传clusterconfig.xml到虚拟机。

2023-12-03 08:37:49 1180

原创【openGauss2.1.0实现X-Tuner进行参数调优】

如果不是源码安装openGauss，而是使用编译好的openGauss安装包安装，则X-Tuner是openGauss2.1.0自带的一款工具。通过使用X-Tuner工具，可以对openGauss2.1.0的参数进行优化，以提高其性能。用户】，利用X-Tuner获得参数优化建议，执行如下命令，需要输入正确的omm数据库用户密码及omm操作系统用户密码（密码为关卡一中创建omm时设置的用户密码）。如果系统要求性能较高，在高并发和大业务量的场景下，虽缩短了半分钟时间，但从整体上看，性能还是有不少的提升。

2023-08-31 00:49:20 327

原创【openGauss2.1.0利用Index-advisor实现索引推荐】

如果不是源码安装openGauss，而是使用编译好的openGauss安装包安装，则X-Tuner是openGauss2.1.0自带的一款工具。通过使用X-Tuner工具，可以对openGauss2.1.0的参数进行优化，以提高其性能。用户】，利用X-Tuner获得参数优化建议，执行如下命令，需要输入正确的omm数据库用户密码及omm操作系统用户密码（密码为关卡一中创建omm时设置的用户密码）。产生的），记录下脚本执行时间，这个过程可能需要花费十多分钟的时间，请耐心等待。参数调优后，再次使用【

2023-08-30 23:52:51 252

原创【openGauss2.1.0 TPC-H数据导入】

openGauss2.1.0 TPC-C数据导入一、下载tpch测试数据二、导入测试数据一、下载tpch测试数据使用普通用户如omm登录服务器执行如下命令下载测试数据库：git clone https://gitee.com/xzp-blog/tpch-kit.git二、导入测试数据进入dbgen目录下，生成makefile文件：cd /opt/software/tpch-kit/dbgen/make -f Makefile连接openGauss数据库，创建tpch的databa

2023-08-29 23:53:27 1206

原创【基于鲲鹏及openEuler20.03TLS下MySQL8.0.17性能调优】

如果将缓冲池大小更改为不等于或等于innodb_buffer_pool_chunk_size * innodb_buffer_pool_instances的倍数的值，则缓冲池大小将自动调整为等于或者是innodb_buffer_pool_chunk_size * innodb_buffer_pool_instances的。也欢迎您的建议和意见！使用压缩表时，报告的Innodb_buffer_pool_pages_data值可能大于Innodb_buffer_pool_pages_total。

2023-08-19 15:47:16 365

原创【RabbitMQ与SpringBoot集成测试收发消息】

修改application.properties，如步骤3所示，可直接复步骤3内容即可；根据你自己的环境改成你自己的ip、port、virtual-host、用户名和密码。该程序会一直运行，因为我加了while(true)，模拟用户一直产生数据。本文仅是博主本人在学习过程中作为学习笔记使用，常言道：好记性不如烂笔头。编写消费者工程，具体创建工程如步骤2所示；在RabbitMQ的UI界面或命令行上。本文参考了来自网络上的资料，，在其类上面添加注解。

2023-08-10 23:25:25 868

原创【RabbitMQ上手——单实例安装&5种简单模式实现通讯过程】

【RabbitMQ入门-单实例安装&5种简单模式实现通讯过程】一、环境说明二、安装RabbitMQ三、用户权限及Virtual Host设置四、5种简单模式实现通讯过程的实现五、小结一、环境说明安装环境：虚拟机VMWare + Centos7.6 + Maven3.6.3 + JDK1.8RabbitMQ版本：rabbitmq-server-3.8.8-1.el7.noarch.rpm二、安装RabbitMQ具体安装过程，可参考：CentOS7安装RabbitMQ(rpm包方式)

2023-08-10 00:29:42 1177

原创【源码编译并安装RocketMQ Dashboard】

本文仅作为学习过程的笔记，因官网有些步骤省略或者没有写全，为了方便后续查看，也为那些初学者提供一点参考和帮助。如本文对您有所帮助，目录，在该目录下会看到编译完成后的。正常编译完成后，会生成。

2023-08-09 21:43:07 557

原创【RocketMQ入门-安装部署与Java API测试】

NameServer成功启动后，我们启动Broker和Proxy，5.x 版本下我们建议使用 Local 模式部署，即 Broker 和 Proxy 同进程部署。5.x 版本也支持 Broker 和 Proxy 分离部署以实现更灵活的集群能力。至此，一个单节点副本的 RocketMQ 集群已经部署起来了，我们也通过编写Java程序进行简单的消息收发。会看到如下内容，说明已经正常启动了。会看到如下内容，说明已经正常启动了。

2023-08-09 16:22:59 610

原创【Windows10下启动RocketMQ报错：找不到或无法加载主类 Files\Java\jdk1.8.0_301\lib\dt.jar】解决方法

Windows上安装jdk默认安装到了C:\Program Files\路径下，即JAVA_HOME为C:\Program Files\Java\jdk1.8.0_301，其中路径中有。在rocketmq解压理解下的bin目录下找到runrocket.cmd，打开并在%CLASSPTH%上添加双引号，保存即可。，该路径空格导致问题产生。

2023-08-09 11:00:37 1921 2

原创【基于开源HBase和ElasticSearch构建大数据实时检索项目】

通过开源HBase和ElasticSearch构建大数据实时检索平台，加快海量数据查询的效率，提升大数据实时搜索的性能，以便于应对日常复杂大数据快速定位的问题。

2023-08-03 01:04:47 1488

原创【基于华为云ECS及openEuler20.03 TLS安装单机openGauss2.1.0企业版】

安装数据库分为两步，预安装gs_preinstall和安装gs_install。预安装会创建工具、数据、日志文件等目录，并将相关工具写入到对应目录下。安装则会初始化数据目录，将数据库配置文件、数据文件写入。输入的密码需要满复杂度要求，长度大于8字符且至少包含字母、数字、特殊字符中三种。预安装过程成会有一次交互输入，需要创建用户并属于设置用户密码。至此完成了整个数据库的安装与测试，恭喜大家~~进入到安装脚本目录下，执行预安装操作。请输入yes，并输入omm用户密码。为安装数据库的管理用户，

2023-07-12 21:55:36 310

原创【GaussDB(DWS)】数据分布式存储-三种类型的表

水平分表方式将一个数据表内的数据，按合适分布策略分散存储在多个节点内，DWS支持如表1所示的数据分布策略。用户可在CREATE TABLE时增加DISTRIBUTE BY参数，来对指定的表应用数据分布功能。DWS采用水平分表的方式，将业务数据表的元组打散存储到各个节点内。这样带来的好处在于，查询中通过查询条件过滤不必要的数据，快速定位到数据存储位置，可极大提升数据库性能。三种类型表测试完毕，感受是。

2023-07-09 01:20:15 2942

原创【GaussDB分布式特性】

1.双AZ采用带第三方仲裁方式部署，即独立Server9网络域。由此，我们得出GaussDB中表可以安装分片进行存储的。2.4C4D4副本，一共需要9台物理机(4+4+1)如RANGE：类似二级分区，单机上的分区功能。5.核心组件两个AZ对称，支持跨AZ双活；3.DN主备交叉部署，主统一在AZ1。test1是按照range分片，得出。4.主机故障优先在同AZ切换。

2023-06-30 01:29:05 899 1

原创【Windows下gsql连接GaussDB云数据库】

到此，已完成了Windows下gsql连接到GaussDB云数据库中了。其中-h后面的ip为弹性公网IP，根据你自己的实际情况进行替换即可。登录华为云管理，购买华为云GaussDB云数据库服务（此步省略）设置GaussDB云数据库安全组规则，开放8000端口。然后选择服务列表，选择【数据仓库服务】

2023-06-30 00:05:42 767 1

原创【Data Studio 2.1.0连接openGauss2.1.0】

至此，已完成了配置！大家可以尽情的玩耍了~~~~

2023-06-27 20:52:32 702 1

原创【基于华为云ECS及openEuler 20.03 TLS和openGauss2.1.0环境安装X-Tuner】

【代码】【基于openEuler 20.03 和openGauss2.1.0环境中安装X-Tuner】

2023-06-26 18:08:00 346

原创【基于华为云ECS及openEuler 20.03 TLS编译openGauss2.1.0源码】

下载openGauss源码和openGauss-third_party_binarylibs第三方库，进入到/sda目录下，下载openGauss2.1.0 源码和下载openGauss-third_party_binarylibs-2.1.0，由于开源软件编译构建耗时长，我们特地使用openGauss-third_party编译构建出了一份binarylibs并压缩上传到了网上，用户可以直接下载获取。下载比较慢，请稍等几分钟。，进入解压后的目录openeuler-lsb-5.0，将其中的。

2023-06-09 14:19:23 773 2

原创【基于华为云ECS及openEuler 20.03 TLS编译openGauss2.0.0源码】

之前安装过程中openGauss用户互信，openEuler服务器需要用到Python-3.7.x命令，但是默认Python版本为Python-2.7.x，所以需要切换Python版本。】进入/sda/openGauss-server目录下，选择版本进行configure。】当安装openGauss成功后，需对其进行数据初始化，在初始化数据库时，需要设置数据库密码，并且要使用复杂密码，如下命令。，进入解压后的目录openeuler-lsb-5.0，将其中的。修改python版本并安装libaio包。

2023-06-05 21:28:01 355

原创 openGauss2.0.0之Java简单测试Sequence

•创建序列后，在表中使用序列的nextval()函数和generate_series(1,N)函数对表插入数据，请保证nextval的可调用次数大于等于N+1次，否则会因为generate_series()函数会调用N+1次而导致报错。2. 另一种是使用CREATE SEQUENCE自定义一个新的Sequence，然后将nextval(‘sequence_name’)函数读取的序列值，指定为某一字段的默认值，这样该字段就可以作为唯一标识符。

2023-01-14 00:03:09 754 1

原创 Apache Knox安装测试

官网介绍：Apache Knox网关是一个为集群中的Apache Hadoop服务提供单点身份验证和访问的系统。目标是为用户（即访问集群数据和执行作业的用户）和操作员（即控制访问和管理集群的用户）简化Hadoop安全。网关作为服务器（或服务器集群）运行，提供对一个或多个Hadoop集群的集中访问。一般来说，网关的目标如下：- 为Hadoop REST API提供外围安全，使Hadoop安全更易于设置和使用- 在外围提供身份验证和令牌验证- 实现与企业和云身份管理系统的身份验证集成。

2022-09-20 23:17:21 1586