星茗

如果Eureka服务端在一定时间内没有接收到某个服务的心跳(默认是90s)，Eureka服务端会进入自我保护模式，在该模式下Eureka服务端会保护服务注册表中的信息，不在删除注册表中的数据，当网络故障恢复后，Eureka服务端节点会自动退出自我保护模式。CAP原则：又称为CAP定理，指的是在一个分布式系统中，强一致性(Consistency)、可用性(Availability)、分区容错性(Partition Tolerance)。CAP原则指的是，这三个要素最多只能同时实现两点，不可能三者兼顾。

如我们在/usr/local目录下手动创建一个wget文件目录，然后将下载好的wget-1.14-18.el7_6.1.x86_64.rpm通过Xftp工具上传到这个wget目录下。如果没有出现如下图所示，则说明Linux服务器本身没有自带安装wget，则直接安装最新版本的wget即可。将下载好的wget的rpm安装包通过Xftp工具上传到Linux服务器对应目录下。登录wget官网下载地址，下载最新的wget的rpm安装包到本地。进入上传目录，安装wget。

2.配置虚拟机相关信息，如系统名称，存储位置，系统类型，内存大小等。关闭虚拟机，在虚拟机设置中添加网卡2为桥接模式，然后再启动虚拟机。配置完成后，重新启动虚拟机，进入系统后，配置网卡2桥接的静态配置。3.配置虚拟机磁盘大小，点击创建，创建虚拟机成功。配置完成后，wq保存退出，然后重启网卡。5.启动虚拟机，并且设置相关的信息。按照如下配置桥接网卡的静态ip。重启网卡后，关闭防火墙设置。设置登录root登录密码。4.虚拟机初始化设置。

spark集群搭建1.Standalone集群搭建与Spark on Yarn配置Standalone：Standalone集群是Spark自带的资源调度框架，支持分布式搭建。搭建建议： Standalone节点数为3台，1台master，2台worker。 虚拟机中每台节点的内存至少给2G和2个核(core) 这样才能保证后期Spark基于Standalone的正常运行。2.搭建Standalone集群的步骤：1）下载安装包，解压1.登录Spark官网下载Spark，官网网址：spar

一、Spark核心1.RDD1）概念：RDD(Resilient Distributed Dateset)，弹性分布式数据集2）RDD的五大特性1.RDD是由一系列的partition组成的。2.函数是作用在每一个partition(split)上的。3.RDD之间有一系列的依赖关系。4.分区器是作用在K,V格式的RDD上的。5.RDD提供一系列最佳的计算位置。3）RDD的理解图：4）注意：1.textFile方法底层封装的是读取MR读取文件的方式，读取文件之前先split，默

一、Spark初始1.什么是Spark？Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab(加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架，Spark拥有Hadoop Mapreduce所具有的有点，但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好的适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。2

Zookeeper集群分布式搭建1. 四台服务器之间免密登录四台服务服务器之间互相均可以免密登录1.首先在四台服务器上都要执行： ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa2. 在 node1 上将 node1 的公钥拷贝到 authorized_keys 中： cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 将该文件拷贝给 node2： scp ~/.ssh/authorized_keys n

#### HDFS完全分布式搭建规划：node1node2node3node4NameNodeSecondaryNameNodeDataNode-1DataNode-2DataNode-3搭建步骤一、免密设置四台服务器之间互相均可以免密登录1. 首先在四台服务器都要执行 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 2. 在 node1上将 node1 的公钥拷贝到 authorized_keys 中

Hadoop伪分布式搭建环境准备hadoop的tar包jdk的rpm包搭建过程上传 hadoop 的 tar 包和 jdk 的 rpm 包 1. 将以上两个包上传的linux服务器/opt/apps目录下 2. 通过命令：tar -zxvf hadoop-2.6.5.tar.gz -C /opt 进行上传到/opt目录下安装 jdk 并且配置环境变量 1. 解压 jdk 压缩包 命令：rpm -ivh jdk-8u221-linux-x64.rpm 2. 环境变量配置 命令：

HDFS读文件流程客户端通过 FileSystem 对象的 open 方法打开希望读取的文件， DistributeFileSystem 对象通过 RPC 调用 namenode，以确保文件起始位置。对于每个block，namenode 返回存有该副本的 datanode 地址。这些 datanode 根据他们与客户端的距离来排序。如果客户端本身就是一个 datanode，并保存有响应block一个副本，会从本地读取这个block数据。DistributeFileSystem 返回一个 FSData

HDFS写文件流程调用客户端的 DistributedFileSystem 的 create() 方法；DistributedFileSystem 会发起对 namenode 的一个RPC连接，请求创建一个文件，不包含关于 block 块的请求。namenode 会执行各种各样的检查，保证要创建的文件不存在，并且客户端有创建文件的权限。如果检查通过，namenode 会创建一个文件(在edits中，同时更新内存状态)，否则创建失败，客户端抛异常IOException。Distribu

Hadoop的安全模式工作流程：1. 启动NameNode，NameNode加载fsimage到内存中，对内存数据执行edits log日志中的事务操作。2. 文件系统元数据内存镜像文件加载完毕，进行fsimage和edits log日志合并， 并创建新的fsimage文件和一个空的edits log日志文件。3. NameNode等待DataNode上传block列表信息，直到副本数量满足最小副本条件。4. 当满足了最小副本条件，再过30秒，NameNode就会退出安全模式，最小副本条件指整个

Hadoop核心组件1.Hadoop通用组件 -- Hadoop Common 包含了其他hadoop模块要用到的库文件和工具2.

背景在业务开发过程中，出现如下需求：在一条记录中，存在多条内容数据，此时导出excel表格时，则需要对同一条记录中的数据进行处理。如下图easyexcel的引入<dependency> <groupId>com.alibaba</groupId> <artifactId>easyexcel</artifactId> <version>2.2.3</version></dependency>业务

1、什么是Redis？Redis本质上是一个Key-Value类型的内存数据库，很像memcached，整个数据库统统加载在内存当中进行操作，定期通过异步操作把数据库数据flush到硬盘上进行保存。因为是纯内存操作，Redis的性能非常出色，每秒可以处理超过10万次读写操作，是已知性能最快的Key-Value DB。Redis的出色之处不仅仅是性能，Redis最大的魅力是支持保存多种数据结构，此外，单个value的最大限制是1GB，不想Memcached只能保存1MB的数据，因此Redis可以用来实现很

安装前准备我这里采用的是先下载压缩包，然后通过FileZilla传输到指定目录下下载maven压缩包，maven官网下载安装命令：tar -zxvf apache-maven-3.6.2-bin.tar.gz 进行解压命令：vi 、etc/profile 进行配置环境，添加如下配置export MAVEN_HOME=/usr/local/maven/apache-maven-3.6.2...

1.创建项目2.创建项目本地git仓库先将本地项目创建git本地仓库或者通过命令 git init 进行创建项目的git本地仓库3.创建gitlab远程仓库项目获取远程仓库项目地址4.推送本地项目到远程仓库通过本地项目所在目录，git bash heregit remote add origin git@gitlab.com:xxxxx/xxxx项目.git //将本地仓...

mysql 中 DATE_ADD(date,INTERVAL expr type) 和DATE_SUB(date,INTERVAL expr type)这些函数执行日期运算。 date 是一个 DATETIME 或DATE值，用来指定起始时间。 expr是一个表达式，用来指定从起始日期添加或减去的时间间隔值。 Expr是一个字符串;对于负值的时间间隔，它可以以一个 ‘-’开头。type 为关键词...

检查环境是否有安装在安装nginx前首先要确认系统中安装了gcc、pcre-devel、zlib-devel、openssl-devel。检查是否有安装某个包yum list installed | grep "软件名或者包名"安装需要的包yum -y install xxx //xxx表示需要安装的包名下载nginx安装包nginx下载地址：https://nginx.org/d...

1.进入项目文件夹，通过命令git init将项目初始化成git本地仓库git init2.将项目内所有文件都添加到暂存区git add . 3.对本次的提交进行备注，以便后期版本回退等操作git commit -m 'xxx' //xxx是本次提交备注的内容4.在github上新建一个仓库，复制仓库地址，然后使用命令将本地仓库与远程仓库建立连接git ...