- 博客(11)
- 收藏
- 关注
RSS订阅原创 Kettle的安装及简单使用
Kettle是一款开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。
2022-08-31 11:05:58
1681
1
原创 Spark学习
图中有4个map task和3个reduce task.1、切片、默认一个block块对应一个切片。2、执行自定义的map逻辑。3、将数据写入内存环形缓冲区（100M）。4、当达到80M的时候会溢写到磁盘，生成一个文件。5、合并多个小文件，归并排序一个map task 执行完成：每一个map task都会产生一个文件。6、当所有的map task执行完成之后开始执行 reduce task。reduce task 在执行之前会先去map task 所在的节点拉取数据。7、合并多个文件。...
2022-08-31 10:48:36
241
原创 SQOOP安装及使用
RDBMS-- > HDFS import HDFS--- > RDBMS export Mysql--- > HDFS(hive) 要知道你要数据的来源和数据的目的地mysql:--connect--usernamerootstudenthdfs:--create-hive-table(如果表不存在，自动创建，如果存在，报错，就不需要这个参数) --hive-databasetestsqoop。...
2022-08-30 22:00:47
750
原创 分布式日志采集系统Flume学习
2、重命名目录，并配置环境变量3、查看flume版本三、使用案例案例一、从控制台打入数据，在控制台显示2、监控自定义的文件案例五、flume监控Http source=50000a1.sources.r1.channels=c1a1.sinks.k1.type=loggera1.sinks.k1.channel=c1a1.channels.c1.type=memorya1.channels.c1.c
2022-08-30 21:57:07
1306
原创 Java基础
常量在Java程序运行中不可改变的量叫做常量。Java中常量的分类：字面值常量 整数常量 二进制 ：0 1 八进制 ：0 1 2 3 4 5 6 7 十进制 ：0 1 2 3 4 5 6 7 8 9 十六进制：0 1 2 3 4 5 6 7 8 9 a b c d e f 小数常量 布尔常量
2022-04-14 16:10:25
255
原创 集合基础知识
集合集合概述集合可以存放各种各样的数据，每种数据的长度，大小以及自身的特点都是不一样的，所以Java中集合也不应该是单一的，他们的底层数据结构也是不同的，总的来说集合就是用来存储元素的，不光可以进行存储，还可以进行查找，删除，判断等等。Collection：集合层次结构中的根接口。 （面试题）集合与数组的不同点： 1.数组的长度是不能改变的，集合的长度是可以改变的。 2.数组可以存放基本数据类型的数据，也可以存放引用数据类型的数据。 集合只能存放引用数据类型的数据。但是一
2022-04-01 21:31:34
312
原创 文件的加密解密程序
Public class JCEDialog extends JDialog//文件加密解密窗口类 Final int MAX_BUF_SIZE=1024; String Algorithm=”DES”; String EncryptMode=”CBC”; String PaddingScheme=”PKCS5Padding”Import Shares.* Public byet[] HashDigest(String StrPassword)//Shares包，HashDig..
2020-07-08 21:02:44
1153
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人