- 博客(4)
- 资源 (9)
- 收藏
- 关注
原创 Hadoop集群优化-关闭THP
操作系统重启导致Transparent Hugepages(THP,页面内存透明化)开启为提升hadoop性能,hadoop环境上要求关闭Transparent Hugepages(THP,页面内存透明化),但是操作系统重启后会自动开启Transparent Hugepages(THP,页面内存透明化)。在Suse系统,解决方法: /etc/init.d 下的几个档案
2015-09-07 23:46:39 2616
原创 Hadoop压缩类型
压缩类型工具算法文件名后缀可分割DEFLAT无DEFLAT.deflat不gzipgzipDEFLAT.gz不bzip2bzip2bzip2.bz2
2015-09-07 23:37:40 695
原创 Hadoop2.2.0 HA高可用分布式集群搭建(hbase,hive,sqoop,spark)
1 需要软件Hadoop-2.2.0Hbase-0.96.2(这里就用这个版本,跟Hadoop-2.2.0是配套的,不用覆盖jar包什么的)Hive-0.13.1Zookeepr-3.4.6(建议使用Zookeepr-3.4.5,这样就不用替换storm和hive里面的zookeepr-3.4.5.jar了)Sqoop1.4.5Scala-2.10.4Spark-1.0
2015-09-07 23:07:15 4726
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人