![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
lingzhiwangcn
这个作者很懒,什么都没留下…
展开
-
.gz文件上载到hdfs中
.gz文件上载到hdfs中用 dfs -copyFormLocal的方式,上载后的文件正常,可以用mapreduce直接读取;用flume的方式,datastream类型,上载后mapreduce操作异常,为何呢?Error: java.io.EOFException: Unexpected end of input stream at org.apache.hadoop.i原创 2016-01-18 15:06:22 · 1788 阅读 · 4 评论 -
MapReduce一次性读取小文件全部内容(压缩和非压缩),文件名作key
/**Text缺省的最大到1024*1024,也就是1MB*/public class SmallFileRecordReader extends RecordReader{ private static final Log LOG = LogFactory.getLog(WholeFileRecordReader.class); private Fi原创 2016-01-21 15:59:23 · 654 阅读 · 0 评论 -
MapReduce传递文件内容到map中使用
Job中配置:String Info_inConfigDir = "hdfs://localhost:9000/cps/conf/FileReport"; Path filePath = new Path(Info_inConfigDir); job.addCacheFile(filePath.toUri());//mapper start原创 2016-01-29 14:43:50 · 564 阅读 · 0 评论 -
HBASE+PHOENIX性能优化注解
hbase环境配置优化:几个配置参数:hbase.hregion.max.filesize:1)当hbase.hregion.max.filesize比较小时,触发split的机率更大,而split的时候会将regionoffline,因此在split结束的时间前,访问该region的请求将被block住,客户端自我block的时间默认为1s。当大量的region同时发生split原创 2016-03-11 15:23:44 · 9745 阅读 · 0 评论