自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(15)
  • 收藏
  • 关注

原创 斐波拉稀数(java版本)

1. 概念:前一项与前一项的前一项之和等于当前项的斐波拉稀数(Sn=Sn-1 + Sn-2)3. 方法二:通过循环遍历,时间复杂度为O(N)2. 方法一:递归方法,效率较低,程序简单易懂。

2023-11-07 00:09:20 85

原创 Spark之had a not serializable result(序列化问题)

具体报错在conf中添加配置val sparkConf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("OrderWideApp") .set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")

2021-09-24 19:26:08 378

原创 Centos7网络配置(VMware版图文详细教程)

虚拟机网络配置1.需要配置的组件和原理2.配置vm: 1.找到vm中的虚拟网络 2.点击VMnet8 3.更改,这里的修改网段必须与自己windos下的一致 4.进入net设置并且修改网关网关修改为3.windos10配置 1.找到VMent82.分别进...

2021-08-30 11:31:59 453

原创 ElasticSearch的基本操作

1. 节点概念:节点是一个服务器,属于某个集群数据,参与集群的索引和搜索功能。与集群一样,节点也是通过名称来标识的。默认情况下,启动时会分配给节点一个UUID(全局唯一的标识符)作为名称。如果需要,可以节点取名,通常取名时应考虑功能方便识别和管理。默认情况下,节点加入名为elaticsearch的集群,通过设置节点的集群名,可加入指定集群。2. 索引​ 索引是具有某种特征的文档集合,相当于一本书的目录,如果,可以为客户数据建立索引,为订单数据建立另一个索引。索引由名称标识,可以使用改名称,对索引

2021-08-13 20:58:36 138

原创 phoenix5.1.2安装(hbase2.4.2)

版本信息 hbase 2.4.2 phoenix 5.1.2 解压: tar -zxvf phoenix-hbase-2.4-5.1.2-bin.tar.gz -C /opt/module/ 分别将phoenix-server-hbase-2.4-5.1.2.jar、phoenix-client-hbase-2.4-5.1.2.jar、phoenix-pherf-5.1.2.jar拷贝到hbase的lib目录下 cp phoenix-server-hbase..

2021-08-13 20:49:15 1008

原创 ElasticSearch启动常见报错:max file descriptors [4096] 和 max virtual memory areas vm.max_map_count [65530]

报错情况:问题1:max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536] elasticsearch原因 系统允许 Elasticsearch 打开的最大文件数需要修改成 65536 解决 sudo vim /etc/security/limits.conf 最文件的最后添加内容* soft nofile 65536* hard nofil

2021-08-09 15:32:59 534

原创 ElasticSearch集群的搭建(详细图文的教程)以及集群脚本编写

1. 介绍Elasticesearch 是一个高度可伸缩的开源全文搜索引擎。Elasticsearch让你可以快速。实时地存储、搜索和分析大量数据,它通常作为互联网应用的内部搜索引擎,为需要复杂搜索功能的应用提供支持。ElaticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch 是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。2. 特点: 天然索

2021-08-09 15:26:07 320

原创 SparkStreaming消费kafka的数据(scala版)

注意事项:一定要设置kafka的消费者组,不然会报错import org.apache.kafka.clients.consumer.ConsumerConfigimport org.apache.spark.SparkConfimport org.apache.spark.streaming.kafka010.{ConsumerStrategies, KafkaUtils, LocationStrategies}import org.apache.spark.streaming.{Second

2021-08-05 20:07:13 731

原创 Flink中将数据写入到文件和kafka(scala版)

1.将数输出到文件package com.gqy.testimport org.apache.flink.api.common.serialization.SimpleStringEncoderimport org.apache.flink.core.fs.Pathimport org.apache.flink.streaming.api.functions.sink.filesystem.StreamingFileSinkimport org.apache.flink.streaming.

2021-08-05 15:14:35 865 1

原创 Flink消费kafka中的数据(scala版)

kafka依赖<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka-0.11_2.12</artifactId> <version>1.10.1</version></dependency>核心代码:import org.apache.flink.api.common

2021-08-05 14:05:52 1203

原创 Flink中解决乱序数据丢失问题Watermark(scala版)

1).尽可能将最大乱序程度作为assignTimestampsAndWatermarks的值,这样可以保证数据不丢失,如果设置过大会影响实时性.assignTimestampsAndWatermarks(new BoundedOutOfOrdernessTimestampExtractor[ApacheLogEvent](Time.seconds(1)) { //最大乱序程度,更加要处理的数据来查看 override def extractTimestamp(element: ApacheLog

2021-08-05 13:30:47 1524

原创 hadoop集群的安装(最详细的安装教程)

版本:3.1.31.准备工作:更新和安装组件 1. yum install -y epel-release 2. yum install -y net-tools 3. yum install -y vim 防火墙的关闭和禁止开启自动启动 1. systemctl stop firewalld 2. systemctl disable firewalld.se...

2021-08-02 11:17:58 926

原创 Redis连接客户端(RedisDesktopManager)的配置(超级详细)

1.修改redis.conf文件,将bind 127.0.0.1注释掉2.设置Redis密码。在设置密码之前,首先要开启服务端,然后再用客户端进行连接,最后通过客户端来设置密码。a.启动:在/usr/local/bin./redis-server /etc/redis.conf查看是否启动成功:ps -ef | grep redisb.设置密码:使用:./redis-cli执行:config set requirepass ****其中:****位自己设置的密码

2021-08-02 10:06:52 3150

原创 Sentos搭建HBase(最详细的安装教程)

HBase的安装:版本:hbase-1.3.1-bin.tar.gzzookeeper 版本:zookeeper-3.4.10.tar.gzHadoop版本:hadoop-3.1.3.tar.gz在安装hbase是集群的时间一定要同步解压:tar -zxvfhbase-1.3.1-bin.tar.gz -C /opt/module/修改配置文件:文件都在hbase目录下的conf目录下regionservers:配置为集群的IP或主机名hadoop101had.

2021-08-01 20:55:17 90

原创 Sentos7搭建redis6.2.1环境

文件下载路径为:https://download.redis.io/releases/?_ga=2.78035924.1954177740.1627820108-120295885.16278201081.先安装c语言环境,redis只需要gcc即可,因此只需安装gcc,可以使用gcc --version查看sudo yum install gcc这表示安装成功(中间会有提示输入'y'即可)2.解压:将安装包加压到自己的安装目录中,我这里安装在/opt/module/中tar -..

2021-08-01 20:21:53 89

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除