GQYOneWater-CSDN博客

原创斐波拉稀数(java版本)

1. 概念：前一项与前一项的前一项之和等于当前项的斐波拉稀数(Sn=Sn-1 + Sn-2)3. 方法二：通过循环遍历，时间复杂度为O(N)2. 方法一：递归方法，效率较低，程序简单易懂。

2023-11-07 00:09:20 85

原创 Spark之had a not serializable result(序列化问题)

具体报错在conf中添加配置val sparkConf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("OrderWideApp") .set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")

2021-09-24 19:26:08 378

原创 Centos7网络配置(VMware版图文详细教程)

虚拟机网络配置1.需要配置的组件和原理2.配置vm: 1.找到vm中的虚拟网络 2.点击VMnet8 3.更改，这里的修改网段必须与自己windos下的一致 4.进入net设置并且修改网关网关修改为3.windos10配置 1.找到VMent82.分别进...

2021-08-30 11:31:59 453

1. 节点概念：节点是一个服务器，属于某个集群数据，参与集群的索引和搜索功能。与集群一样，节点也是通过名称来标识的。默认情况下，启动时会分配给节点一个UUID(全局唯一的标识符)作为名称。如果需要，可以节点取名，通常取名时应考虑功能方便识别和管理。默认情况下，节点加入名为elaticsearch的集群，通过设置节点的集群名，可加入指定集群。2. 索引索引是具有某种特征的文档集合，相当于一本书的目录，如果，可以为客户数据建立索引，为订单数据建立另一个索引。索引由名称标识，可以使用改名称，对索引

2021-08-13 20:58:36 138

原创 phoenix5.1.2安装(hbase2.4.2)

版本信息 hbase 2.4.2 phoenix 5.1.2 解压： tar -zxvf phoenix-hbase-2.4-5.1.2-bin.tar.gz -C /opt/module/ 分别将phoenix-server-hbase-2.4-5.1.2.jar、phoenix-client-hbase-2.4-5.1.2.jar、phoenix-pherf-5.1.2.jar拷贝到hbase的lib目录下 cp phoenix-server-hbase..

2021-08-13 20:49:15 1008

原创 ElasticSearch启动常见报错：max file descriptors [4096] 和 max virtual memory areas vm.max_map_count [65530]

报错情况：问题1：max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536] elasticsearch原因系统允许 Elasticsearch 打开的最大文件数需要修改成 65536 解决 sudo vim /etc/security/limits.conf 最文件的最后添加内容* soft nofile 65536* hard nofil

2021-08-09 15:32:59 534

原创 ElasticSearch集群的搭建(详细图文的教程)以及集群脚本编写

1. 介绍Elasticesearch 是一个高度可伸缩的开源全文搜索引擎。Elasticsearch让你可以快速。实时地存储、搜索和分析大量数据，它通常作为互联网应用的内部搜索引擎，为需要复杂搜索功能的应用提供支持。ElaticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch 是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。2. 特点：天然索

2021-08-09 15:26:07 320

原创 SparkStreaming消费kafka的数据(scala版)

注意事项：一定要设置kafka的消费者组，不然会报错import org.apache.kafka.clients.consumer.ConsumerConfigimport org.apache.spark.SparkConfimport org.apache.spark.streaming.kafka010.{ConsumerStrategies, KafkaUtils, LocationStrategies}import org.apache.spark.streaming.{Second

2021-08-05 20:07:13 731

原创 Flink中将数据写入到文件和kafka(scala版)

1.将数输出到文件package com.gqy.testimport org.apache.flink.api.common.serialization.SimpleStringEncoderimport org.apache.flink.core.fs.Pathimport org.apache.flink.streaming.api.functions.sink.filesystem.StreamingFileSinkimport org.apache.flink.streaming.

2021-08-05 15:14:35 865 1

原创 Flink消费kafka中的数据(scala版)

kafka依赖<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka-0.11_2.12</artifactId> <version>1.10.1</version></dependency>核心代码：import org.apache.flink.api.common

2021-08-05 14:05:52 1203

原创 Flink中解决乱序数据丢失问题Watermark(scala版)

1）.尽可能将最大乱序程度作为assignTimestampsAndWatermarks的值，这样可以保证数据不丢失，如果设置过大会影响实时性.assignTimestampsAndWatermarks(new BoundedOutOfOrdernessTimestampExtractor[ApacheLogEvent](Time.seconds(1)) { //最大乱序程度，更加要处理的数据来查看 override def extractTimestamp(element: ApacheLog

2021-08-05 13:30:47 1524

原创 hadoop集群的安装(最详细的安装教程)

版本：3.1.31.准备工作：更新和安装组件 1. yum install -y epel-release 2. yum install -y net-tools 3. yum install -y vim 防火墙的关闭和禁止开启自动启动 1. systemctl stop firewalld 2. systemctl disable firewalld.se...

2021-08-02 11:17:58 926

原创 Redis连接客户端(RedisDesktopManager)的配置(超级详细)

1.修改redis.conf文件，将bind 127.0.0.1注释掉2.设置Redis密码。在设置密码之前，首先要开启服务端，然后再用客户端进行连接，最后通过客户端来设置密码。a.启动：在/usr/local/bin./redis-server /etc/redis.conf查看是否启动成功：ps -ef | grep redisb.设置密码：使用：./redis-cli执行：config set requirepass ****其中：****位自己设置的密码

2021-08-02 10:06:52 3149

原创 Sentos搭建HBase(最详细的安装教程)

HBase的安装：版本：hbase-1.3.1-bin.tar.gzzookeeper 版本：zookeeper-3.4.10.tar.gzHadoop版本：hadoop-3.1.3.tar.gz在安装hbase是集群的时间一定要同步解压：tar -zxvfhbase-1.3.1-bin.tar.gz -C /opt/module/修改配置文件：文件都在hbase目录下的conf目录下regionservers：配置为集群的IP或主机名hadoop101had.

2021-08-01 20:55:17 90

原创 Sentos7搭建redis6.2.1环境

文件下载路径为：https://download.redis.io/releases/?_ga=2.78035924.1954177740.1627820108-120295885.16278201081.先安装c语言环境，redis只需要gcc即可，因此只需安装gcc,可以使用gcc --version查看sudo yum install gcc这表示安装成功(中间会有提示输入'y'即可)2.解压：将安装包加压到自己的安装目录中，我这里安装在/opt/module/中tar -..

2021-08-01 20:21:53 89

weixin_48678923的博客