大数据
MrMiao_
这个作者很懒,什么都没留下…
展开
-
大数据读hdfs文件笔记
报错:Exception in thread "main" java.lang.NoClassDefFoundError: Could not initialize class org.apache.hadoop.conf.Configuration可能缺少commons-collections-3.2.2.jar、guava-11.0.2.jar(各版本不定自选)报错:Exc原创 2016-09-05 15:49:40 · 2443 阅读 · 0 评论 -
hadoop参数汇总配置文件参数详解
Hadoop参数汇总@(hadoop)[配置]linux参数以下参数最好优化一下:文件描述符ulimit -n用户最大进程 nproc (hbase需要 hbse book)关闭swap分区设置合理的预读取缓冲区Linux的内核的IO调度器JVM参数JVM方面的优化项Hadoop Performance Tuning GuideHadoo转载 2016-09-22 11:08:03 · 5479 阅读 · 0 评论