m0_58342743的博客

1.简单的对接需求：使用收集控制台的信息存储再kafka并用kafka消费者消费Flume配置文件：# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = netcata1.sources.r1.bind = 0.0.0.0a1.sources.r1.port = 444

1.HBase Shell 操作出现的所有库，库名都指的是namespace，namespace名，二者相似但不可混为一谈！！！！！不加（库名：）出现的表指的都是default库下的，各种语句中不加即在默认库下操作！！！！！！1.老版本habse shell中ctrl+backspace删除东西2.如果不小心输入了；后回车了，出现了*结尾的输入命令，可以输入两次 ‘ 退出此模式常用指令总览namespace(库)的操作增create_namespace '库名' 创建n.

表中数据的增删改查增insert into/overwrite [table] 表名[partition (分区字段=要增加的分区字段值,…);] //partition分区，增加到对应分区中values(字段1的值,字段2的值,...),(...,...);//普通插入，into插入数据，一个（）代表一行，会启动mapreduce，table可写可不写没用//overwrite覆盖，用（）中的值把表中原有数据都覆盖掉，会启动mapreduce，table必须写load data

读前需知本文为作者学习Hadoop源码时的一些总结，可能会有理解错误的地方，学艺不精请谅解HDFS上产源码解析create创建过程1.DN向NN发起创建请求，NN检查目录是否存在，是否可以覆盖，若满足，则addINode创建目录2.NN处理DN的创建请求，创建输出流3.启动线程DataStreamer，创建数据dataQueue队列后阻塞等待write上传过程1.向DataStreamer的队列里面写数据，写Chunk和CheckSum(512+4byte)写够127个生成p

1如果需要自定义Bean类型来充当输出的Key或Value，则自定义的Bean类要继承Writable接口并实现序列化及反序列化方法，序列化反序列化顺序要一致，要有空参构造器，要提供toString2.如果自定义序列化类充当输出的Key或Value的同时，还需要自定义排序规则，则可以继承WritableComparable接口实现序列化反序列话方法和compareTo方法进行排序（二次排序等等都可）3.若要进行分区，则需要自定义类继承Partitioner类重写getPartition方法，并在dr

最近发现经常有同学会出现pin不同外网的情况，特地在此写出自己的解决方式，希望可以帮助到大家第一、调整网络编辑器内部设置1.1 在VM中选择编辑->虚拟网络编辑器1.2 在虚拟网络编辑器中选择vmnet8，然后用管理员权限更改设置1.3在2中进去后选择vmnet8，然后调整最下方的子网与子网掩码，子网为192.168.XXX.0，XXX获取方案（用管理员身份运行命令提示符，输入ipconfig，在返回的结果中找到vmnet8一项，此项下面对应的ipv4地址的第三段就是XXX..