- 博客(6)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Flume对接kafka
1.简单的对接需求：使用收集控制台的信息存储再kafka并用kafka消费者消费Flume配置文件：# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = netcata1.sources.r1.bind = 0.0.0.0a1.sources.r1.port = 444
2021-11-07 13:54:40
572
原创 HBase Shell 操作
1.HBase Shell 操作出现的所有库，库名都指的是namespace，namespace名，二者相似但不可混为一谈！！！！！不加（库名：）出现的表指的都是default库下的，各种语句中不加即在默认库下操作！！！！！！1.老版本habse shell中ctrl+backspace删除东西2.如果不小心输入了；后回车了，出现了*结尾的输入命令，可以输入两次 ‘ 退出此模式常用指令总览namespace(库)的操作增create_namespace '库名' 创建n.
2021-10-31 10:05:58
932
原创 Hive常用指令
表中数据的增删改查增insert into/overwrite [table] 表名[partition (分区字段=要增加的分区字段值,…);] //partition分区，增加到对应分区中values(字段1的值,字段2的值,...),(...,...);//普通插入，into插入数据，一个（）代表一行，会启动mapreduce，table可写可不写没用//overwrite覆盖，用（）中的值把表中原有数据都覆盖掉，会启动mapreduce，table必须写load data
2021-10-25 08:37:39
463
原创 Hadoop核心源码解析（轻量级）
读前需知本文为作者学习Hadoop源码时的一些总结，可能会有理解错误的地方，学艺不精请谅解HDFS上产源码解析create创建过程1.DN向NN发起创建请求，NN检查目录是否存在，是否可以覆盖，若满足，则addINode创建目录2.NN处理DN的创建请求，创建输出流3.启动线程DataStreamer，创建数据dataQueue队列后阻塞等待write上传过程1.向DataStreamer的队列里面写数据，写Chunk和CheckSum(512+4byte)写够127个生成p
2021-10-04 13:58:31
259
原创 MapReduce的学习心得
1如果需要自定义Bean类型来充当输出的Key或Value，则自定义的Bean类要继承Writable接口并实现序列化及反序列化方法，序列化反序列化顺序要一致，要有空参构造器，要提供toString2.如果自定义序列化类充当输出的Key或Value的同时，还需要自定义排序规则，则可以继承WritableComparable接口实现序列化反序列话方法和compareTo方法进行排序（二次排序等等都可）3.若要进行分区，则需要自定义类继承Partitioner类重写getPartition方法，并在dr
2021-09-26 12:21:38
2305
原创 虚拟机pin不通外网pin不通百度的解决方式
最近发现经常有同学会出现pin不同外网的情况，特地在此写出自己的解决方式，希望可以帮助到大家第一、调整网络编辑器内部设置1.1 在VM中选择编辑->虚拟网络编辑器1.2 在虚拟网络编辑器中选择vmnet8，然后用管理员权限更改设置1.3在2中进去后选择vmnet8，然后调整最下方的子网与子网掩码，子网为192.168.XXX.0，XXX获取方案（用管理员身份运行命令提示符，输入ipconfig，在返回的结果中找到vmnet8一项，此项下面对应的ipv4地址的第三段就是XXX..
2021-09-18 14:49:44
701
空空如也
二维数组转换成集合后输出
2021-06-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人