2017年10月_qqpy789

原创 yarn日常维护之nm健康状态为false

最近发现yarn集群的ui上显示的nodes个数为2个,正常情况下是2个,然后就很无语了,因为以前一直都没有问题然后差问题呗,从ui上显示丢失了206机器的nm,重新启动206上的nm 然后我查看206机器nm的日志和207上的rm的日志从日志上来看没有任何问题,nm显示注册到了207机器,207机器显示收到了206机器的注册,这就无语了,我累个法克然后磨叽了好几个小时,在查看20

2017-10-30 11:31:58 782

原创 hbase 开启缓冲和不开启缓冲比较

hbase 中的put 一个put相当于是一个rpc,如果循环的次数过多则绝大部分时间都消耗在rpc的网路传输过程中而不是用于传输数据的时间占比高如果开启个缓冲一次性提交批量数据则会提高效率得了话就说那么多,直接上代码package com.hit.test;import org.apache.hadoop.conf.Configuration;import org

2017-10-25 16:37:22 504

原创面试杂谈

最近面试了几家公司第一家:可能是嫌我java功底不太厚第二家:三面挂了原因是基础不够扎实数据结构以及jdk源码功力不是特别深厚第三家:直接告诉我和公司业务不符合第四家:嫌弃我没有实时流式的工作经验总结:面试造飞机,工作补轮胎(程序员已经是红海了)

2017-10-19 09:49:55 235

原创 sqoop使用hcatlog生成对应的orc格式的表

最近去面试,面试官提了一句,可以使用hcatlog来实现直接生成对应的parquet格式的表,不过我没有生成成功parquet表但是生成成功了orc表具体的原因还未知不过终于可以直接生成orc格式的表了 orc基本上也够用了sqoop import --connect $URL --username $USERNAME --password $PASSWORD --table erp_

2017-10-14 09:25:10 3590

原创 SortShuffleManager方法头注释

/** * In sort-based shuffle, incoming records are sorted according to their target partition ids, then * written to a single map output file. Reducers fetch contiguous regions of this file in order

2017-10-12 16:16:50 245

原创 RDD五大特性

* - A list of partitions rdd是分片的* - A function for computing each split 每个function是作用在每个split* - A list of dependencies on other RDDs rdd是有互相依赖的* - Optionally, a Partitioner for key-value RDDs

2017-10-12 16:15:44 362

原创 copyonwritelist源码理解

ArrayList 的一个线程安全的变体，其中所有可变操作（add、set 等等）都是通过对底层数组进行一次新的复制来实现的。上面这句话是官方jdk里写的其实就是copyonwritelist是一个安全类每次都是通过复制来实现线程安全打开copyonwritelist的源码 /** The lock protecting all mutators */ final

2017-10-10 16:56:05 1863

原创 hdfs报错之 DisallowedDatanodeException

先看异常堆栈,以前一直没有去看namenode的日志今天已查看发现一个错误看错误的信息应该是无法解析到207机器2017-10-10 09:45:45,124 WARN blockmanagement.DatanodeManager (DatanodeManager.java:registerDatanode(882)) - Unresolved datanode registrati

2017-10-10 09:57:24 1130

原创 hive日常报错之 serious problem serious problem,block 丢失

https://community.hortonworks.com/questions/71589/after-upgrading-to-hdp-253-using-beeline-with-a-si.html报错如下参考链接如上感觉是 orc的文件优化导致的这个错误解决办法是set hive.exec.orc.split.strategy=BI;加上这么一个参数即可

2017-10-09 09:45:33 7514

菜皮的默默倾诉