若兰幽竹-CSDN博客

原创【基于鲲鹏及openEuler20.03TLS下MySQL8.0.17性能调优】

如果将缓冲池大小更改为不等于或等于innodb_buffer_pool_chunk_size * innodb_buffer_pool_instances的倍数的值，则缓冲池大小将自动调整为等于或者是innodb_buffer_pool_chunk_size * innodb_buffer_pool_instances的。也欢迎您的建议和意见！使用压缩表时，报告的Innodb_buffer_pool_pages_data值可能大于Innodb_buffer_pool_pages_total。

2023-08-19 15:47:16 522

原创【RabbitMQ与SpringBoot集成测试收发消息】

修改application.properties，如步骤3所示，可直接复步骤3内容即可；根据你自己的环境改成你自己的ip、port、virtual-host、用户名和密码。该程序会一直运行，因为我加了while(true)，模拟用户一直产生数据。本文仅是博主本人在学习过程中作为学习笔记使用，常言道：好记性不如烂笔头。编写消费者工程，具体创建工程如步骤2所示；在RabbitMQ的UI界面或命令行上。本文参考了来自网络上的资料，，在其类上面添加注解。

2023-08-10 23:25:25 918

原创【RabbitMQ上手——单实例安装&5种简单模式实现通讯过程】

【RabbitMQ入门-单实例安装&5种简单模式实现通讯过程】一、环境说明二、安装RabbitMQ三、用户权限及Virtual Host设置四、5种简单模式实现通讯过程的实现五、小结一、环境说明安装环境：虚拟机VMWare + Centos7.6 + Maven3.6.3 + JDK1.8RabbitMQ版本：rabbitmq-server-3.8.8-1.el7.noarch.rpm二、安装RabbitMQ具体安装过程，可参考：CentOS7安装RabbitMQ(rpm包方式)

2023-08-10 00:29:42 1215

原创【源码编译并安装RocketMQ Dashboard】

本文仅作为学习过程的笔记，因官网有些步骤省略或者没有写全，为了方便后续查看，也为那些初学者提供一点参考和帮助。如本文对您有所帮助，目录，在该目录下会看到编译完成后的。正常编译完成后，会生成。

2023-08-09 21:43:07 794

原创【RocketMQ入门-安装部署与Java API测试】

NameServer成功启动后，我们启动Broker和Proxy，5.x 版本下我们建议使用 Local 模式部署，即 Broker 和 Proxy 同进程部署。5.x 版本也支持 Broker 和 Proxy 分离部署以实现更灵活的集群能力。至此，一个单节点副本的 RocketMQ 集群已经部署起来了，我们也通过编写Java程序进行简单的消息收发。会看到如下内容，说明已经正常启动了。会看到如下内容，说明已经正常启动了。

2023-08-09 16:22:59 651

原创【Windows10下启动RocketMQ报错：找不到或无法加载主类 Files\Java\jdk1.8.0_301\lib\dt.jar】解决方法

Windows上安装jdk默认安装到了C:\Program Files\路径下，即JAVA_HOME为C:\Program Files\Java\jdk1.8.0_301，其中路径中有。在rocketmq解压理解下的bin目录下找到runrocket.cmd，打开并在%CLASSPTH%上添加双引号，保存即可。，该路径空格导致问题产生。

2023-08-09 11:00:37 2738 2

原创【基于开源HBase和ElasticSearch构建大数据实时检索项目】

通过开源HBase和ElasticSearch构建大数据实时检索平台，加快海量数据查询的效率，提升大数据实时搜索的性能，以便于应对日常复杂大数据快速定位的问题。

2023-08-03 01:04:47 1718

原创【基于华为云ECS及openEuler20.03 TLS安装单机openGauss2.1.0企业版】

安装数据库分为两步，预安装gs_preinstall和安装gs_install。预安装会创建工具、数据、日志文件等目录，并将相关工具写入到对应目录下。安装则会初始化数据目录，将数据库配置文件、数据文件写入。输入的密码需要满复杂度要求，长度大于8字符且至少包含字母、数字、特殊字符中三种。预安装过程成会有一次交互输入，需要创建用户并属于设置用户密码。至此完成了整个数据库的安装与测试，恭喜大家~~进入到安装脚本目录下，执行预安装操作。请输入yes，并输入omm用户密码。为安装数据库的管理用户，

2023-07-12 21:55:36 396

原创【GaussDB(DWS)】数据分布式存储-三种类型的表

水平分表方式将一个数据表内的数据，按合适分布策略分散存储在多个节点内，DWS支持如表1所示的数据分布策略。用户可在CREATE TABLE时增加DISTRIBUTE BY参数，来对指定的表应用数据分布功能。DWS采用水平分表的方式，将业务数据表的元组打散存储到各个节点内。这样带来的好处在于，查询中通过查询条件过滤不必要的数据，快速定位到数据存储位置，可极大提升数据库性能。三种类型表测试完毕，感受是。

2023-07-09 01:20:15 3975

原创【GaussDB分布式特性】

1.双AZ采用带第三方仲裁方式部署，即独立Server9网络域。由此，我们得出GaussDB中表可以安装分片进行存储的。2.4C4D4副本，一共需要9台物理机(4+4+1)如RANGE：类似二级分区，单机上的分区功能。5.核心组件两个AZ对称，支持跨AZ双活；3.DN主备交叉部署，主统一在AZ1。test1是按照range分片，得出。4.主机故障优先在同AZ切换。

2023-06-30 01:29:05 1549 1

原创【Windows下gsql连接GaussDB云数据库】

到此，已完成了Windows下gsql连接到GaussDB云数据库中了。其中-h后面的ip为弹性公网IP，根据你自己的实际情况进行替换即可。登录华为云管理，购买华为云GaussDB云数据库服务（此步省略）设置GaussDB云数据库安全组规则，开放8000端口。然后选择服务列表，选择【数据仓库服务】

2023-06-30 00:05:42 1075 1

原创【Data Studio 2.1.0连接openGauss2.1.0】

至此，已完成了配置！大家可以尽情的玩耍了~~~~

2023-06-27 20:52:32 947 1

原创【基于华为云ECS及openEuler 20.03 TLS和openGauss2.1.0环境安装X-Tuner】

【代码】【基于openEuler 20.03 和openGauss2.1.0环境中安装X-Tuner】

2023-06-26 18:08:00 423

原创【基于华为云ECS及openEuler 20.03 TLS编译openGauss2.1.0源码】

下载openGauss源码和openGauss-third_party_binarylibs第三方库，进入到/sda目录下，下载openGauss2.1.0 源码和下载openGauss-third_party_binarylibs-2.1.0，由于开源软件编译构建耗时长，我们特地使用openGauss-third_party编译构建出了一份binarylibs并压缩上传到了网上，用户可以直接下载获取。下载比较慢，请稍等几分钟。，进入解压后的目录openeuler-lsb-5.0，将其中的。

2023-06-09 14:19:23 1043 2

原创【基于华为云ECS及openEuler 20.03 TLS编译openGauss2.0.0源码】

之前安装过程中openGauss用户互信，openEuler服务器需要用到Python-3.7.x命令，但是默认Python版本为Python-2.7.x，所以需要切换Python版本。】进入/sda/openGauss-server目录下，选择版本进行configure。】当安装openGauss成功后，需对其进行数据初始化，在初始化数据库时，需要设置数据库密码，并且要使用复杂密码，如下命令。，进入解压后的目录openeuler-lsb-5.0，将其中的。修改python版本并安装libaio包。

2023-06-05 21:28:01 437

原创 openGauss2.0.0之Java简单测试Sequence

•创建序列后，在表中使用序列的nextval()函数和generate_series(1,N)函数对表插入数据，请保证nextval的可调用次数大于等于N+1次，否则会因为generate_series()函数会调用N+1次而导致报错。2. 另一种是使用CREATE SEQUENCE自定义一个新的Sequence，然后将nextval(‘sequence_name’)函数读取的序列值，指定为某一字段的默认值，这样该字段就可以作为唯一标识符。

2023-01-14 00:03:09 825 1

原创 Apache Knox安装测试

官网介绍：Apache Knox网关是一个为集群中的Apache Hadoop服务提供单点身份验证和访问的系统。目标是为用户（即访问集群数据和执行作业的用户）和操作员（即控制访问和管理集群的用户）简化Hadoop安全。网关作为服务器（或服务器集群）运行，提供对一个或多个Hadoop集群的集中访问。一般来说，网关的目标如下：- 为Hadoop REST API提供外围安全，使Hadoop安全更易于设置和使用- 在外围提供身份验证和令牌验证- 实现与企业和云身份管理系统的身份验证集成。

2022-09-20 23:17:21 1964

原创【openGauss3.0.0之Java API基本操作】

使用Java API简单操作openGauss

2022-09-05 23:58:46 958

原创【openGauss-3.0.0单节点安装】

创建dbgroup组和用户omm，修改/opt/software/openGauss目录用户及其用户组为omm:dbgroup。在当前目录下创建cluster_config.xml，下面IP、主机名等修改成你自己的环境。root登录虚拟，创建/opt/software/openGauss目录。检查如果没有问题就继续下面步骤操作，如有问题，检查下是什么问题。在执行过程中，会提示是否需要创建omm用户，输入yes。进入当前目录下的script目录下，执行预安装命令。删除数据库testdb01，执行。

2022-09-05 23:38:55 1412

原创 Flink消费Kafka主题消息的演示

本案例实现的功能统计对Kafka中的消息单词出现的次数，即词频统计。其主要演示了Flink流式程序消费kafka中的消息，其目的想让初学者了解Flink如何编写消费Kafka中消息的程序以及通过程序的演示来进一步学习flink。......

2022-06-24 20:37:04 738

原创 WordCount打包部署到Flink Standalone 集群模式的运行过程演示

本次实验主要是向大家演示了在Flink Standalone 模式下运行WordCount程序的过程，其目的想让大家知道flink程序开发完成后，如何将其打包上传到服务器，并能通过查看webui界面查看flink相关的概念等。......

2022-06-23 21:57:23 597

原创 HBase几种安装方式

HBase几种安装方式一、前提说明二、具体安装步骤一、前提说明Hadoop已经完成安装（如伪分布式、全分布式等）zookeeper已经完成安装（全分布式和HA模式需要）环境对应关系如下：hbase环境对应hadoop环境对应外部zookeeper环境本地模式不需要不需要伪分布式伪分布式单机安装（也可用hbase内置zookeeper）全分布式全分布式集群模式（也可用hbase内置zookeeper）HA模式HA模式集群模式（也可

2022-05-19 22:55:54 2178 1

原创 Flink的流批WordCount入门案例

Flink的WordCount及其运行分析一、环境说明二、实现步骤三、分析总结一、环境说明工具版本IDEA2021.3.2Flink1.10.2Scala2.12JDK1.8_181二、实现步骤新建maven工程添加flink相关依赖到pom.xml中<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0

2022-05-12 17:58:00 764 2

原创 Flink概述

Flink概述一、Flink 是什么二、为什么要用 Flink三、流处理的演变发展四、Flink 的主要特点五、Flink vs Spark Streaming一、Flink 是什么Flink 起源于 Stratosphere 项目， Stratosphere 是在 2010~2014 年由 3 所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目， 2014 年 4 月 Stratosphere 的代码被复制并捐赠给了 Apache 软件基金会，参加这个孵

2022-05-12 10:07:32 1543

原创有幸遇见你们

时间又悄然来到2022年5月9日，这是我离开学校已经整整三个月的日子，也是我在新的组织工作也满三个月的一天。飞快的时光，令人感叹不已。在这三个月中，我虽已离开了原来的工作岗位，但是又好像没有完全离开。或许因我还在协助着原公司的某些工作，或许因我还没有完全退群，抑或是我内心仍旧喜爱在高校教学的工作……无论何种原因，值此你们毕业之际，我想写点我与你们的一些小小故事，以此诚挚祝福你们——2018级数据科学与大数据技术的全体同学——毕业快乐，前程似锦，未来一切顺利。同时，在此我亦怀着感激之情表达我对...

2022-05-09 22:08:24 890 6

原创 kubernetes概述

kubernetes概述一、kubernetes是什么二、kubernetes基础知识一、kubernetes是什么首先，它是一个全新的基于容器技术的分布式架构领先方案。Kubemetes 是谷歌严格保密十几年的秘密武器一－Borg 一个开源版本。其次，kubernetes不必再费心于负载均衡器的选型和部署实施问题，不必再考虑引入或自己开发一个复杂的服务治理框架，不必再头疼于服务监控和故障处理模块的开发。我们不仅节省了不少于 30%的开发成本，同时可以将精力更加集中于业务本身，而且由于 Kubem

2022-04-02 11:13:27 478

原创 kubernetes单Master集群搭建及安装UI管理界面Dashboard安装

kubernetes单Master集群搭建及安装UI管理界面Dashboard安装一、环境说明二、kubernetes部署方式三、kubernetes集群拓扑结构四、部署Kubernetes步骤五、部署Kubernetes-dashboard步骤一、环境说明实验环境：资源配置说明笔记本电脑内存 16G+VMWare Workstation15+版本kubernetes1.18.10kubernetes-dashboard2.0.3CentOS7

2022-04-01 23:34:29 897

原创 Flink On Yarn 模式说明与测试

Flink On Yarn 模式说明与测试一、环境说明二、环境搭建三、Flink On Yarn模式四、启动Session Cluster测试五、Per Job Cluster测试六、小结一、环境说明三台虚拟机内存分配如下：节点内存hadoop0024G （主节点，内存分配大些）hadoop0032Ghadoop0042G如条件允许情况下，可以将所有节点内容调整高些，如4GHadoop集群环境配置如下：全分布式环境节点安装路径dat

2022-03-29 22:34:48 2764 1

原创 Flink统计日志图片信息并降序排序

Flink对日志信息中图片进行统计并降序排序一、需求说明二、环境说明三、编程实现一、需求说明统计出日志信息中的图片信息，统计每张图片出现的次数，并降序排序二、环境说明zookeeper环境配置如下：节点安装路径dataDir路径hadoop002/training/zookeeper-3.4.5/training/zookeeper-3.4.5/tmphadoop003/training/zookeeper-3.4.5/training/zookee

2022-03-29 17:54:19 2516

原创 Kafka_2.12-3.1.0集群环境搭建

Kafka_2.12-3.1.0集群环境搭建一、环境说明二、安装步骤一、环境说明目前的Kafka版本还是需要借助zookeeper来存储cluster、brokers、consumer等相关元信息，在当前版本即2_12_3.1.0版本中内置有zookeeper，故针对zookeeper环境有两种：1. 使用内置的zookeeper如果选择使用内置的zookeeper，则需要修改Kafka安装目录下的config目录下的zookeeper.properties文件相关内容2. 使用外部的zook

2022-03-26 11:29:39 1913

原创 Flink写数据到Elasticsearch简单实现

Flink写数据到Elasticsearch简单实现一、应用场景二、环境说明三、实验步骤四、一点思考一、应用场景针对实时处理的数据需要及时能够搜索出来时，可以选择elasticsearch来支持这一业务。当然还可以选择其他的内存数据库，如redis。而elasticsearch除了强大的全文索引能力外，还支持分布式存储，可以将其作为分布式计算框架的底座，用于存储热数据或者温数据等。常见的组合方式有elasticsearch与sparkstreaming以及flink进行配合共同完成实时或流式处理的场

2022-03-23 15:13:32 1440

原创 SparkStreaming写数据到Elasticsearch简单实现

SparkStreaming写数据到Elasticsearch简单实现一、应用场景二、环境说明三、实验步骤四、思考一、应用场景针对实时处理的数据需要及时能够搜索出来时，可以选择elasticsearch来支持这一业务。当然还可以选择其他的内存数据库，如redis。而elasticsearch除了强大的全文索引能力外，还支持分布式存储，可以将其作为分布式计算框架的底座，用于存储热数据或者温数据等。常见的组合方式有elasticsearch与sparkstreaming以及flink进行配合共同完成实时

2022-03-23 11:47:39 1931 3

原创 Linux下安装ElasticSearch集群

Linux下安装ElasticSearch集群一、环境说明二、安装步骤一、环境说明虚拟机名称节点名称内存及说明hadoop002node-12G 默认配置其为【Master】hadoop003node-22G Node节点1hadoop004node-32G Node节点1软件版本说明JDK1.8+es 高版本以后需要Java11elasticsearch7.8.0当前最新版本为8.1 官网地址二、安装

2022-03-22 15:47:59 711

原创 ElasticSearch Windows集群下的Java API实现简单的CURD操作

ElasticSearch Windows集群下的Java API实现简单的CURD操作一、环境说明二、实现步骤一、环境说明windows上部署三节点的集群，参考：ElasticSearch Windows集群安装部署elasticsearch版本：7.8.0测试框架：JUnit二、实现步骤创建maven项目添加es相关依赖，依赖如下：<dependencies> <dependency> <groupId>org.elas

2022-03-21 23:44:07 2393

原创 ElasticSearch概述与核心概念

ElasticSearch概述与核心概念说明：一、概述二、Elasticsearch重要概念三、Elasticsearch 系统架构说明：该文章内容整理自网络，如有侵权，请及时联系博主一、概述ES相关概述Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。作为 Elastic Stack 的核心，它集中存储您的数据，帮助您发现意料之中以及意料之外的情况。The Elastic Stack, 包括 Elasticsearch、Ki

2022-03-14 23:38:49 239

原创 ElasticSearch Windows集群安装部署

ElasticSearch Windows集群安一、集群部署二、集群验证三、集群状态说明四、创建索引（测试）一、集群部署前提是：下载Windows版本的es，当前版本7.8.0创建 elasticsearch-cluster 文件夹，在内部复制三个 elasticsearch 服务修改集群文件目录中每个节点的 config/elasticsearch.yml 配置文件node-1001 节点配置如下：#节点 1 的配置信息：#集群名称，节点之间要保持一致cluster.name: m

2022-03-14 22:22:32 2513

原创忙碌的一个月

自2月9日至今，我已经在新的环境里学习和工作满了一个月了。我想记录下这个月里的所见所闻和自己的一些心得感受，算作是月度总结吧！虽然有三个月的学习培养或成长其，但第一个月的总体的感受就一个词：忙碌。那到底忙碌些什么呢？具体有如下几个方面：一方面是适应新环境，学习新环境各种办公所需软硬件。所谓软件，不仅仅包括字面意义上的软件，还包括了学习公司内部的各种文化：公司核心价值文化，团队内部组织文化和熟悉各种有用的网站以及各种作业流程。而硬件便是各种设备的使用和操作，如在公司政策范围内笔记本电脑、打印机等的合规

2022-03-10 23:07:56 2921 4

原创 Flink HA模式环境搭建

Flink HA安装部署

2022-03-03 23:09:24 1610 1

原创归零，重新出发

犹记得三年半前的那个夏天，我加入了一家做职业教育培训有40年的公司（NIIT），在这个三年多的时间里面，我意外地从一名程序员变成了一名大数据培训讲师，意外地来到了贵师大大数据学院从事大数据教学工作，意外地喜欢上了教育培训行业，意外地变成了一个团队负责人，意外地让自己内心变得更加从容不迫，意外地发现自我优缺点和找到了更适合自己的发展方向……如今，我恋恋不舍地悄然离开这个舞台，离开了这个熟悉而又美丽的学校，离开了身后还有未曾教完的莘莘学子。人生本身或许就是这样在不断地来来往往中期望不留遗憾地了此...

2022-02-09 22:13:28 3207 12