- 博客(11)
- 收藏
- 关注
原创 Kettle的安装及简单使用
Kettle是一款开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。
2022-08-31 11:05:58 1722 1
原创 Spark学习
图中有4个map task和3个reduce task.1、切片、默认一个block块对应一个切片。2、执行自定义的map逻辑。3、将数据写入内存环形缓冲区(100M)。4、当达到80M的时候会溢写到磁盘,生成一个文件。5、合并多个小文件,归并排序一个map task 执行完成:每一个map task都会产生一个文件。6、当所有的map task执行完成之后开始执行 reduce task。reduce task 在执行之前会先去map task 所在的节点拉取数据。7、合并多个文件。...
2022-08-31 10:48:36 252
原创 SQOOP安装及使用
RDBMS-- > HDFS import HDFS--- > RDBMS export Mysql--- > HDFS(hive) 要知道你要数据的来源和数据的目的地mysql:--connect--usernamerootstudenthdfs:--create-hive-table(如果表不存在,自动创建,如果存在,报错,就不需要这个参数) --hive-databasetestsqoop。...
2022-08-30 22:00:47 791
原创 分布式日志采集系统Flume学习
2、重命名目录,并配置环境变量3、查看flume版本三、使用案例案例一、从控制台打入数据,在控制台显示2、监控自定义的文件案例五、flume监控Http source=50000a1.sources.r1.channels=c1a1.sinks.k1.type=loggera1.sinks.k1.channel=c1a1.channels.c1.type=memorya1.channels.c1.c
2022-08-30 21:57:07 1342
原创 Java基础
常量在Java程序运行中不可改变的量叫做常量。Java中常量的分类:字面值常量 整数常量 二进制 :0 1 八进制 :0 1 2 3 4 5 6 7 十进制 :0 1 2 3 4 5 6 7 8 9 十六进制:0 1 2 3 4 5 6 7 8 9 a b c d e f 小数常量 布尔常量
2022-04-14 16:10:25 275
原创 集合基础知识
集合集合概述集合可以存放各种各样的数据,每种数据的长度,大小以及自身的特点都是不一样的,所以Java中集合也不应该是单一的,他们的底层数据结构也是不同的,总的来说集合就是用来存储元素的,不光可以进行存储,还可以进行查找,删除,判断等等。Collection:集合层次结构中的根接口。 (面试题)集合与数组的不同点: 1.数组的长度是不能改变的,集合的长度是可以改变的。 2.数组可以存放基本数据类型的数据,也可以存放引用数据类型的数据。 集合只能存放引用数据类型的数据。但是一
2022-04-01 21:31:34 344
原创 文件的加密解密程序
Public class JCEDialog extends JDialog//文件加密解密窗口类 Final int MAX_BUF_SIZE=1024; String Algorithm=”DES”; String EncryptMode=”CBC”; String PaddingScheme=”PKCS5Padding”Import Shares.* Public byet[] HashDigest(String StrPassword)//Shares包,HashDig..
2020-07-08 21:02:44 1194
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人