hdfs
哈哈-bazinga
蓦然回首,那人竟在灯火阑珊处!
展开
-
lzo-lzop
编译环境生成 linux机器上执行yum -y install lzo-devel zlib-devel gcc autoconf automake libtool下载lzohttp://www.oberhumer.com/opensource/lzo/download/lzo安装tar -zxvf lzo-2.10.tar.gz -C /opt/cd /opt/lzo-2.10export CF...原创 2018-04-16 14:58:12 · 1244 阅读 · 0 评论 -
spark读取lzo文件并指定日志记录起始标识符
1、读取文件是LzoTextInputFormat.class2、设置JavaSparkContext jsc = new JavaSparkContext(conf);Configuration hconf = jsc.hadoopConfiguration();hconf.set("textinputformat.record.delimiter", "[*&^%]"); hc...原创 2018-04-16 16:29:06 · 1140 阅读 · 0 评论 -
Cannot obtain block length for LocatedBlock故障分析和解决
转载1https://www.cnblogs.com/cssdongl/p/6700512.html这几天想cat一下某天的HDFS文件内容的时候突然报Cannot obtain block length for LocatedBlock异常,get也一样,这样无法访问hdfs文件的问题必须解决,Mark一下问题背景和解决过程一.问题背景问题产生的原因可能是由于前几日Hadoop集群维护的时候,基...转载 2018-06-21 15:23:45 · 3516 阅读 · 1 评论