hadoop
edentyin
在大数据的浪潮中奋勇前进
展开
-
记录hadoop几个好用的命令行操作
1. distp原创 2014-10-21 09:03:11 · 776 阅读 · 0 评论 -
storm和spark的比较
对Spark、Storm以及Spark Streaming引擎的简明扼要、深入浅出的比较,原文发表于踏得网。Spark基于这样的理念,当数据庞大时,把计算过程传递给数据要比把数据传递给计算过程要更富效率。每个节点存储(或缓存)它的数据集,然后任务被提交给节点。所以这是把过程传递给数据。这和Hadoop map/reduce非常相似,除了积极使用内存来避免I/O操作,以使转载 2014-11-26 12:55:06 · 1348 阅读 · 0 评论 -
Hadoop2.2.0 HA高可用分布式集群搭建(hbase,hive,sqoop,spark)
1 需要软件Hadoop-2.2.0Hbase-0.96.2(这里就用这个版本,跟Hadoop-2.2.0是配套的,不用覆盖jar包什么的)Hive-0.13.1Zookeepr-3.4.6(建议使用Zookeepr-3.4.5,这样就不用替换storm和hive里面的zookeepr-3.4.5.jar了)Sqoop1.4.5Scala-2.10.4Spark-1.0原创 2015-09-07 23:07:15 · 4696 阅读 · 0 评论 -
Hadoop集群优化-关闭THP
操作系统重启导致Transparent Hugepages(THP,页面内存透明化)开启为提升hadoop性能,hadoop环境上要求关闭Transparent Hugepages(THP,页面内存透明化),但是操作系统重启后会自动开启Transparent Hugepages(THP,页面内存透明化)。在Suse系统,解决方法: /etc/init.d 下的几个档案原创 2015-09-07 23:46:39 · 2595 阅读 · 0 评论 -
Hadoop压缩类型
压缩类型工具算法文件名后缀可分割DEFLAT无DEFLAT.deflat不gzipgzipDEFLAT.gz不bzip2bzip2bzip2.bz2原创 2015-09-07 23:37:40 · 684 阅读 · 0 评论 -
BookKeeper
BookeKeeper具有副本的功能,目的是提供可靠地日志记录。翻译 2015-09-07 23:16:14 · 856 阅读 · 0 评论