小白文-CSDN博客

原创 KafKa搭建

KafKa搭建1.上传压缩包2.解压，配置环境变量（master、node1、node2）#解压tar -xvf kafka_2.11-1.0.0.tgz -C /usr/local/soft/#配置环境变量vim /etc/profile#追加以下内容#kafkaexport KAFKA_HOME=/usr/local/soft/kafka_2.11-1.0.0export PATH=$KAFKA_HOME/bin:$PATH#分发到node1、node2中scp /etc

2021-10-16 20:00:06 446

原创 Spark搭建

Spark搭建1.停止hadoop集群#在master上执行stop-all.sh2.上传saprk安装包3.解压至soft目录#解压tar -zxvf spark-2.4.5-bin-hadoop2.6.tgz -C /usr/local/soft/#重命名mv spark-2.4.5-bin-hadoop2.6 spark-2.4.54.配置环境变量#sparkexport SPARK_HOME=/usr/local/soft/spark-2.4.5export P

2021-10-10 21:34:53 301

原创 There are 86 missing blocks. The following files may be corrupted:

1.错误背景集群断电重启块丢失，master:50070页面报错:There are 2 missing blocks. The following files may be corrupted：2.报错现象There are 86 missing blocks. The following files may be corrupted:3.解决方案删除缺失文件hadoop fsck -delete 缺失文件路径检查集群健康状态...

2021-09-26 09:03:48 611

原创 Restarting network (via systemctl): Job for network.service failed...

1.错误背景将挂起的虚拟机启动，突然连不上网，重启网络服务失败。2.报错现象Restarting network (via systemctl): Job for network.service failed......3.解决方案停止并禁用虚拟机 NetworkManager 服务#停止并禁用虚拟机 NetworkManager 服务#停止systemctl stop NetworkManager#禁用systemctl disable NetworkManager重启网络se

2021-09-25 08:27:06 3034

原创 Kettle安装及使用

Kettle安装windows下安装1、安装jdk2、下载kettle压缩包，因kettle为绿色软件，解压缩到任意本地路径即可3、双击Spoon.bat，启动图形化界面工具，就可以直接使用了Kettle简单使用MySQL TO MySQL把stu1的数据按id同步到stu2，stu2有相同id则更新数据在mysql中创建testkettle数据库，并创建两张表create database testkettle;use testkettle;create table s

2021-09-24 21:55:07 177

原创 FlinkX安装与使用

FlinkX安装上传flinkX解压flinkX#先安装unzipyum install unzip#解压unzip flinkx-1.10.zip -d /usr/local/soft/配置环境变量vim /etc/profile#追加以下内容#flinkxexport FLINKX_HOME=/usr/local/soft/flinkx-1.10export PATH=$FLINKX_HOME/bin:$PATH给bin/flinkx这个文件加上执行权限chmod

2021-09-24 20:58:41 831

原创 DataX安装及使用

1.DataX安装上传datax解压tar -zxvf datax.tar.gz -C /usr/local/soft/添加环境变量vim /etc/profile#追加以下内容#dataxexport DATAX_HOME=/usr/local/soft/dataxexport PATH=$PHOENIX_HOME/bin:$SQOOP_HOME/bin:$DATAX_HOME/bin:$PATH2.DataX使用编写stream2stream.json# stream

2021-09-24 17:44:15 233

原创 PhoenixJDBC

PhoenixJDBC1.在pom.xml中加载phoenix依赖 <dependency> <groupId>org.apache.phoenix</groupId> <artifactId>phoenix-core</artifactId> <version>4.15.0-HBase-1.4</version> </

2021-09-24 17:26:26 722

原创 HBase过滤器

1.作用过滤器的作用是在服务端判断数据是否满足条件，然后只将满足条件的数据返回给客户端。过滤器可以分为两大类：（1）比较过滤器：可以应用于rowkey、列簇、列、列值过滤器（2）专用过滤器：只能适用于特定的过滤器2.比较过滤器比较运算符LESS <LESS_OR_EQUAL <=EQUAL =NOT_EQUAL <>GREATER_OR_EQUAL >=GREATER >NO_OP 排除所有常见六大比较过滤器BinaryCompa

2021-09-24 17:14:22 263

原创 Flume搭建

1.上传flume2.解压flumetar -zxvf apache-flume-1.9.0-bin.tar.gz -C /usr/local/soft/3.重命名mv apache-flume-1.9.0-bin/ flume-1.9.04.配置环境变量vim /etc/profile#追加以下内容#flumeexport FLUME_HOME=/usr/local/soft/flume-1.9.0export PATH=$FLUME_HOME/bin:$PATH#刷新

2021-09-23 20:33:36 491

原创 Sqoop安装

1.上传Sqoop&mysql驱动2.解压sqooptar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /usr/local/soft/3.重命名mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop-1.4.64.修改配置文件#切换至/usr/local/soft/sqoop-1.4.6/conf目录cd /usr/local/soft/sqoop-1.4.6/conf#复制配置

2021-09-22 20:38:23 115

原创 Phoenix搭建

1.关闭hbase集群stop-hbase.sh2.上传并解压上传tar -zxvf apache-phoenix-4.15.0-HBase-1.4-bin.tar.gz -C /usr/local/soft/重命名mv apache-phoenix-4.15.0-HBase-1.4-bin phoenix-4.15.03.将phoenix-4.15.0-HBase-1.4-server.jar复制到所有节点的hbase lib目录下scp /usr/local/soft/ph

2021-09-18 14:34:37 140

原创 HBaseJavaAPI

1.在pom.xml文件中加入相关依赖 <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId>

2021-09-14 22:21:27 174

原创 hbase shell基础

1.创建一个test1表，并且有一个info列族create 'test1' ,'info'2.查看所有表list3.查看表详情desc 'test1'4.插入数据put 'test1','001','info:name','zhangsan'5.根据rowKey查询某个记录get 'test1','001'6.查询所有记录scan 'test1'7.统计表记录数count 'test1'8.删除#删除列delete 'test1','000','

2021-09-13 00:28:41 131

原创 HBase集群搭建

1.启动hadoop&启动zookeeper#1.启动hadoopstart-all.sh#2.查看进程jps#3.启动zookeeper(需要在三台中分别启动)zkServer.sh start#4.查看zk状态zkServer.sh statusmasternode1node22.上传hbase压缩包并解压上传压缩包解压tar -zxvf hbase-1.4.6-bin.tar.gz -C /usr/local/soft/3.配置环境变量vim /

2021-09-12 22:23:35 243 1

原创 ZookeeperAPI

1.添加包依赖 <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId> <v

2021-09-11 20:57:15 109

原创 HiveJDBC

1.添加包依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.6</version> </dependency> <!-- https:/

2021-09-08 21:36:34 298

原创 Hive练习

一、创建表1.创建students表创建表create table students( id bigint comment '学生id', name string comment '学生姓名', age int comment '学生年龄', gender string comment '学生性别', clazz string comment '学生班级') comment '学生信息表'row format delimited fields termina

2021-09-05 10:27:37 294

原创 Hive搭建

1.安装MySQL(已安装跳过)（1）下载yum Repositorywget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm（2）安装yum Repositoryyum -y install mysql57-community-release-el7-10.noarch.rpm（3）安装mysql5.7yum -y install mysql-community-server（4）开机

2021-09-05 01:17:26 259

原创 HDFS读写流程

HDFS概述HDFS是Hadoop应用用到的一个最主要的分布式存储系统。一个HDFS集群主要由一个NameNode和很多个Datanode组成：Namenode管理文件系统的元数据；Datanode存储了实际的数据。Namenode是一个中心服务器，负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。集群中的Datanode一般是一个节点一个，负责管理它所在节点上的存储。HDFS暴露了文件系统的名字空间，用户能够以文件的形式在上面存储数据。从内部看，一个文件其实被分成一个或

2021-09-03 16:54:56 321

原创 MapReduce

MapReduce介绍MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题。MapReduce是分布式运行的，由两个阶段组成，分别是：Map和Reduce。Map阶段：是一个独立的程序，有很多个节点同时运行，每个节点处理一部分数据。Reduce阶段：是一个独立的程序，有很多个节点同时运行，每个节点处理一部分数据。MapReduce框架都有默认实现，用户只需要覆盖map()和reduce()两个函数，即可实现分布式计算，map()和reduce()

2021-09-02 18:51:57 592

原创 mapreduce单词统计

该程序的功能：（1）读取文件（2）统计每个单词出现的数量1.创建words.txt文件并上传到HDFS创建words.txt文件，添加内容vim words.txt#添加单词（任意单词）hadoop,hive,hbasespark,flink,kafkapython,java,scalasqoop,hello,worldsqoop,hello,worldsqoop,hello,worldsqoop,hello,worldsqoop,hello,world上传到HDFShd

2021-09-01 09:15:32 1953

原创 YARN HA搭建

1.停止YARN集群stop-yarn.sh2.修改配置文件yarn-site.xml<property><name>yarn.resourcemanager.ha.enabled</name><value>true</value></property>

2021-08-31 21:12:53 148

原创 HDFS HA搭建

HA ZK NN DN RM NM JN ZKFCmaster 1 1 1 1 1node1 1 1 1 1 1 1 1node2 1 1 1 11.免密钥在两个主节点生成密钥文件ssh-keygen -t rsassh-copy-id ipmaster-->master,node1,node2node1-->master,node1,node22.停止HDFS集群stop-dfs.sh3.修改hadoop配置文件core-site.xml&l

2021-08-31 20:22:40 143

原创 Java操作HDFS的API接口

1.文件操作（1）create写文件（2）open读取文件（3）delete删除文件2.目录操作（1）mkdirs创建目录（2）delete删除文件或目录（3）listStatus列出目录的内容（4）getFileBlockLocations显示文件存储位置1.创建maven项目在pom.xml中追加hadoop-client依赖 <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-cl

2021-08-30 14:26:14 196

原创 Zookeeper集群搭建

Zookeeper集群搭建需要准备三个节点：master、node1、node2。1.上传安装包到master并解压tar -zxvf zookeeper-3.4.6.tar.gz2.配置环境变量vim /etc/profileexport ZOOKEEPER_HOME=/usr/local/soft/zookeeper-3.4.6#注意：以下内容只需要在PATH后追加**:$ZOOKEEPER_HOME/bin**即可。export PATH=$PATH:$ZOOKEEPER_HOME/b

2021-08-30 10:12:24 269

原创 Hadoop集群搭建

1、上传安装包并解压#使用xftp上传压缩包至master的/usr/local/soft/modulecd /usr/local/soft/module#解压tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local/soft/2、配置环境变量vim /etc/profile#jdkexport JAVA_HOME=/usr/local/soft/jdk1.8.0_171export REDIS_HOME=/usr/local/soft/redis/

2021-08-28 17:31:57 281

原创 redis集群安装

redis集群安装搭建redis集群需要准备三个节点，分别是：master、node1、node2。1.分别在三个节点中创建redis-cluster目录：master中创建redis-cluster目录：mkdir /usr/local/soft/redis-clusternode1中创建redis-cluster目录：mkdir /usr/local/soft/redis-clusternode2中创建redis-cluster目录：mkdir /usr/local/soft/r

2021-08-27 16:56:37 268

原创 redis主从复制

主从复制准备两个节点，分别是：master、node1。1.从master节点上将redis文件复制到node1节点上：scp -r redis node1:`pwd`2.切换至node1节点的/usr/local/soft/目录下查看redis：3.在master节点上启动主服务（主节点可以写数据和读数据）：redis-server redis.conf 4.在node1节点上启动从服务器（从节点只能读数据，不能写数据）： ./redis-server --port 6380 -

2021-08-27 11:26:54 145

原创 JedisPoolUtils工具类

jedis.properties配置文件host=192.168.119.166port=6379maxTotal=50maxIdle=10JedisPoolUtils工具类public class JedisPoolUtils { private static JedisPool jedisPool; static { //读取配置文件 InputStream is = JedisPoolUtils.class.getClassLoader(

2021-08-20 21:50:50 289

原创 Java客户端 Jedis

*Jedis：一款java操作redis数据库的工具 *使用步骤 *获取连接 Jedis jedis = new Jedis("192.168.119.166",6379); *操作 String set = jedis.set("name", "chen"); System.out.println(set); *关闭连接 jedis.close();示例：/** * jedis的测试类 */public clas

2021-08-20 21:47:17 110

原创 Redis基本概念

#Redis *概念：redis是一款高性能的NOSQL系列的非关系型数据库。 **redis.conf：配置文件 **redis-cli：客户端 **redis-server：服务器端 *命令操作： *redis的数据结构： **redis存储的是：key,value格式的数据，其中key都是字符串，value有5种不同的数据结构 *value的数据结构： *1.字符串类型 string *2.哈希类型 hash :map格式 *3.列表类

2021-08-20 21:40:20 79

原创 CentOS7之Redis单节点安装

Redis单节点安装1.配置阿里云yum源（1）下载配置文件wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo（2）生成缓存yum makecache2.安装redis（1）安装依赖yum install -y gcc-c++ gcc tcl（2）通过xftp上传redis包至/usr/local/module/目录下（3）解压redis-3.0.0.t

2021-08-20 21:37:40 197 1

原创 IDEA项目上传至Gitee

IDEA项目上传至Gitee步骤一：创建本地仓库步骤二：将项目添加至本地仓库步骤三：提交该项目步骤四：再Gitee中创建一个仓库，用于存放该项目，并复制该仓库的链接。步骤五：提交项目至Gitee中的SpringBootDemo仓库中步骤六：查看Gitee仓库中的上传的该项目...

2021-08-18 11:37:06 293

原创 SpringBoot热部署

SpringBoot热部署步骤一：在SpringBoot项目中找到pom.xml文件，添加以下内容：  <dependency> <groupId>org.springframework.boot&lt

2021-08-18 11:19:18 111

原创 SpringBoot环境搭建

SpringBoot环境搭建手动搭建步骤一：创建一个Maven项目（1）单击“Create New Project”：（2）选择Maven并单击Next(3)填写GroupId和ArtifactId，并点击Next,如下图所示：(4)填写项目名称和需要存放的路径，并点击Finish，如下图所示：步骤二：添加SpringBoot坐标（1）在Maven项目中的pom.xml文件中添加springboot坐标：注意：所有的springboot工程都必须继承spring-boot-star

2021-08-18 11:00:22 3696 2

原创 Spring JDBC

Spring JDBC使用步骤：##Spring JDBC *Spring框架对JDBC的简单封装。提供了一个JDBCTemplate对象简化JDBC的开发 *步骤： *1.导入jar包 *2.创建JdbcTemplate对象。依赖于数据源DataSource *JdbcTemplate template = new JdbcTemplate(ds); *3.调用JdbcTemplate的方法来完成CRUD的操作 *update():执行DML语句。增、删、改语句 *qu

2021-08-16 20:17:17 70

原创 Druid连接池工具类

Druid连接池工具类创建Druid连接池工具类：DruidJdbcUtils。/** * Druid连接池的工具类 */public class DruidJdbcUtils { //定义成员变量 private static DataSource ds; //static代码块 static { //加载配置文件 Properties pos = new Properties(); InputStream is

2021-08-15 20:32:31 132

原创数据库连接池

数据库连接池##数据库连接池： *概念：其实就是一个容器（集合），存放数据库连接的容器。 *当系统初始化好后，容器被创建，容器中会申请一些连接对象，当用户来访问数据库时，从容器中获取连接对象，用户访问完之后，会将连接对象归还给容器。 *好处： *节约资源 *用户访问高效 *实现： *1.标准接口：DataSource javax.sql包下的 *方法： **获取连接：getConnection() **归还连接：Connection.close()。

2021-08-15 20:23:35 76

原创 JDBC控制事务

JDBC控制事务JDBC控制事务： 1.事务：一个包含多个步骤的业务操作。如果这个业务操作被事务管理，则这个步骤要么同时成功，要么同时失败。 2.操作： *开启事务 *提交事务 *回滚事务 3.使用Connection对象来管理事务 *开启事务：getAutoCommit()获取此 Connection 对象的当前自动提交模式。 *在执行sql之前开启事务 *提交事务：commit()使所有上一次提交/回滚后进行的更改成为持久更改，并释放此 Connection 对

2021-08-15 11:14:23 265

空空如也

空空如也