- 博客(33)
- 收藏
- 关注
RSS订阅
原创 DataX安装部署
例如：我在job下创建了文件，将脚本写入。在hdfs的ui界面可以查看到数据。参照模板填入咱们实际所需要读写的表。括号中为需要参考的模板。先执行脚本看一下模板。
2025-11-24 11:38:14
324
原创 Redis安装部署
可以采用第二种方案，强制使用系统默认的内存分配器。然后再回到上面重新执行make和后面的命令继续往后做。4.2.执行这个命令解决安装jemalloc依赖。进入redis目录下，进入redis.conf。4.进入redis下，分别执行两个命令。再redis下的bin目录下执行命令，开启服务后，再开启一台master执行。4.3出现情况，如果系统中无法通过。进入redis的bin目录下执行命令。1.安装至software目录下，5.再开启一台master。3.执行命令安装 gcc。8.远程连接的配置处理。
2025-11-03 15:37:42
22
原创 Hudi安装部署
修改了Hive版本为3.1.2，其携带的jetty是0.9.3，hudi本身用的0.9.4，存在依赖冲突。启动spark-shell命令以后，编写scala语言代码，保存数据至Hudi表及Hudi表加载数据。否则在使用DeltaStreamer工具向hudi表插入数据时，也会报Jetty的错误。排除低版本jetty，添加hudi指定版本的jetty。否则在使用spark向hudi表插入数据时，会报错。-- 增加hudi配置版本的jetty -->-- 增加hudi配置版本的jetty -->
2025-11-02 16:20:57
1180
原创 Java学习9--集合
可以存引用数据类型，不能直接存基本数据类型（需要变为对应的包装类）集合和数组的对比数组长度固定 集合长度可变可以存基本数据类型、引用数据类型可以存引用数据类型、基本数据类型（需要变为对应的包装类）
2025-08-20 09:38:46
503
原创 flink+clinkhouse安装部署
如果服务器上已有其他服务占用 9000 端口，那么将 ClickHouse 的端口改为 9001 是很有必要的。TaskManager 是 Flink 的 “工作节点”，负责执行具体的计算任务（如算子、函数），是实际处理数据的组件。添加后，重启集群时，Flink 进程会自动加载 Hadoop 相关的类，解决与 HDFS/YARN 集成时的类缺失问题。这行配置的作用是让 Flink 进程加载 Hadoop 的类路径，确保能正常调用 Hadoop 相关 API。在编辑器中，esc进入命令模式，输入。
2025-08-19 10:58:08
1145
原创 spark+scala安装部署
目录，这是由于 Spark 的事件日志（Event Log）功能配置了 HDFS 路径，但该路径不存在导致的。报错：问题出在 Spark 无法找到 HDFS 上的。因此在hdfs上创建目录，为了方便赋予权限。启动master进程，jps查看。修改spark-env.sh。传完记得分别source刷新。启动worker节点。
2025-08-18 10:42:07
703
原创 maxwell安装部署
在MySQL中建立一个Maxwell库用于存储Maxwell的元数据。可能是因为权限问题，进入mysql，输入一下命令授予权限。然后重新开启一个本节点虚拟机窗口，jps查看进程。分配这个账号可以监控其他数据库的权限。设置MySQL用户密码安全级别。分配一个账号可以操作该数据库。刷新MySQL表权限。
2025-08-17 16:54:31
392
原创 flume安装部署
## kafka.bootstrap.servers = master:9092：指定 Kafka 集群的地址和端口（master 是 Kafka 服务器的主机名，9092 是默认端口）### type = org.apache.flume.sink.kafka.KafkaSink：指定数据目的地类型为 KafkaSink，即数据最终会发送到 Kafka。### kafka.topic = order：指定数据要发送到 Kafka 中的哪个主题（topic），这里是 "order" 主题。
2025-08-16 10:16:21
1268
原创 hbase安装部署
第一台：HMaster、HRegionServer。第二台：HRegionServer。记得source刷新环境变量。第一台节点ip+16010。
2025-08-14 12:14:24
678
原创 zookeeper安装部署
进入zookeeper解压目录下的conf目录，赋值配置文件zoo_sample.cfg，重命名为zoo.cfg。在bin目录下,启动zookeeper，并查看进程。在zkData下创建myid并设置内容为1。传完环境变量记得到后两台source刷新。修改二三台下的myid文件。
2025-08-13 17:08:00
461
原创 Hive安装部署
example---存放hive的文档和官方案例。bin---存放hive相关服务执行操作的脚本。lib---存放hive的各种依赖jar包。conf---hive的配置文件目录。登录mysql，创建hivedb。再后面追加自己的路径。
2025-08-12 15:50:25
547
原创 MySQL安装部署
下载新的 CentOS-Base.repo 到 /etc/yum.repos.d/设置密码长度，将最小长度设置为6。防止镜像源更新失败，造成损坏。
2025-08-11 17:46:11
376
原创 Java学习8--字符串
API：应用程序编程接口。简单理解：API就是别人已经写好的，我们不需要再写，直接使用就行。Java API：指的是JDK中提供的各种功能的java类这些类将底层的实现封装了起来，我们不需要关系这些类是如何实现的，只需要学习这些类如何使用就行。API帮助文档：帮助开发人员更号的使用API和查询API的一个工具。使用说明：①打开API帮助文档②点击显示，并找到索引下面的输入③再输入框中输入类名并点击显示④查看类所在的包⑤从查看类的描述⑥查看构造方法⑦查看成员方法。
2025-08-10 19:47:03
675
原创 java学习5--数组
数组的定义：数据类型 [ ] 数组名数据类型 数组名 [ ]就是在内存中，为数组容器开辟空间，并将数据存入容器中的过程。数组初始化的两种方式：静态初始化：数据类型 [ ] 数组名 = new 数据类型 [ ] {元素1，元素2，元素3...};数据类型 [ ] 数组名 = {元素1，元素2，元素3...};
2025-07-17 16:32:14
970
原创 java学习4--判断和循环
3.如果所有的case后面的值和表达式的值都不匹配，就会执行default里面的语句体，然后结束整个switch语句。2.依次和case后面的值进行比较，如果有对应的值，就会执行相应的语句，在执行的过程中，遇到break就会结束。4.default：表示所有情况都不匹配的时候，就执行该处的内容，和if语句的else相似。是java程序默认的执行流程，按照代码的先后顺序，从上到下依次执行。5.如果所有关系表达式结果都为false，就执行语句体n+1。如果所有的判断都为假，就执行else的语句体。
2025-07-14 19:26:41
1013
原创 java学习3--运算符
对字面量或者变量进行操作的符号。用运算符把字面量或者变量连接起来，符合java语法的式子就可以称为表达式。不同运算符连接的表达式体现的是不同类型的表达式。算术运算符、自增自减运算符、赋值运算符、关系运算符、逻辑运算符、三元运算符、运算符优先级算术运算符。
2025-07-09 17:34:55
851
原创 实时数据处理
【master、slave1、slave2是三台节点名字，order是topic名字;其中job/flume_kafka.conf 为自己新建脚本文件的路径。重新开启一台 master，查看jps，kafka是否启动成功。在job目录下配置flume_kafka.conf文件。消费kafka中的数据(查看kafka中是否传入数据)再job目录下上传文件，并给上传好的文件赋予权限。启动flume，进入flume目录下。进入flume中job目录下。启动flume脚本文件。进入Kafka目录下。
2025-06-20 09:13:35
320
原创 JAVA笔记总结2
1.Java中类的定义格式：【类的修饰符】 class 类名{//属性——成员变量//方法——成员方法其中，类修饰符有两种：①public：共有的，公共的类。一个Java文件中可有很多个类，但只能有一个类用public来修饰，并且该类型名字要与文件名一致用public修饰的类是因为是公共的访问权限，所以可以跨包调用②什么也不写：默认的访问权限。只可以在本包当中调用2.成员变量的定义格式：【访问修饰符】数据类型 变量名；
2025-06-19 16:43:43
703
原创 JAVA笔记总结
1、编写源文件，后缀名.java，文件名要与主类名一致2、编译源文件，通过javac.ese，生成一个字节码文件（class）格式: javac 文件名：.java3、运行字节码文件，（java.ese），格式 ：java 类名。
2025-06-19 16:16:43
782
原创 java学习2
数据类型 变量名 = 数据值;数据类型：为空间中存储的数据，加入类型【限制】整数？小数？...？变量名：为空间起的名字数据值：存在空间里面的数值。
2025-05-24 16:19:09
1887
原创 java学习1
JDK 提供了开发工具，JRE 提供了运行环境，而 JVM 则是执行 Java 程序的核心。java不能直接在操作系统中直接运行，因为操作系统看不懂它的内容，因此编译的这一动作就是将操作系统看不懂的内容。java：jdk提供的工具，作用是运行代码，运行当前路径下生成的class文件，运行时不加后缀名。javac：是jdk提供的编译工具，通过它把当前路径下的文件编译成操作系统看的懂的class文件。是 Java 运行环境，包含了运行 Java 程序所需的所有组件。
2025-05-18 13:10:56
1489
原创 HDFS常用命令实践
7.移动本地linux操作系统下的input.txt到HDFS的/姓名全拼/input/下。7.移动本地linux操作系统下的input.txt到HDFS的/姓名全拼/input/下。5.将input.txt上传到HDFS的/姓名全拼/input/下。5.将input.txt上传到HDFS的/姓名全拼/input/下。9.将input2.txt追写到HDFS的input.txt中。9.将input2.txt追写到HDFS的input.txt中。1.在HDFS的/下创建姓名全拼的目录。
2025-05-13 15:24:08
288
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人