![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
edentyin
在大数据的浪潮中奋勇前进
展开
-
记录hadoop几个好用的命令行操作
1. distp原创 2014-10-21 09:03:11 · 776 阅读 · 0 评论 -
storm和spark的比较
对Spark、Storm以及Spark Streaming引擎的简明扼要、深入浅出的比较,原文发表于踏得网。 Spark基于这样的理念,当数据庞大时,把计算过程传递给数据要比把数据传递给计算过程要更富效率。每个节点存储(或缓存)它的数据集,然后任务被提交给节点。 所以这是把过程传递给数据。这和Hadoop map/reduce非常相似,除了积极使用内存来避免I/O操作,以使转载 2014-11-26 12:55:06 · 1348 阅读 · 0 评论 -
Hadoop2.2.0 HA高可用分布式集群搭建(hbase,hive,sqoop,spark)
1 需要软件 Hadoop-2.2.0 Hbase-0.96.2(这里就用这个版本,跟Hadoop-2.2.0是配套的,不用覆盖jar包什么的) Hive-0.13.1 Zookeepr-3.4.6(建议使用Zookeepr-3.4.5,这样就不用替换storm和hive里面的zookeepr-3.4.5.jar了) Sqoop1.4.5 Scala-2.10.4 Spark-1.0原创 2015-09-07 23:07:15 · 4696 阅读 · 0 评论 -
Hadoop集群优化-关闭THP
操作系统重启导致Transparent Hugepages(THP,页面内存透明化)开启 为提升hadoop性能,hadoop环境上要求关闭Transparent Hugepages(THP,页面内存透明化), 但是操作系统重启后会自动开启Transparent Hugepages(THP,页面内存透明化)。 在Suse系统,解决方法: /etc/init.d 下的几个档案原创 2015-09-07 23:46:39 · 2595 阅读 · 0 评论 -
Hadoop压缩类型
压缩类型 工具 算法 文件名后缀 可分割 DEFLAT 无 DEFLAT .deflat 不 gzip gzip DEFLAT .gz 不 bzip2 bzip2 bzip2 .bz2原创 2015-09-07 23:37:40 · 684 阅读 · 0 评论 -
BookKeeper
BookeKeeper具有副本的功能,目的是提供可靠地日志记录。翻译 2015-09-07 23:16:14 · 856 阅读 · 0 评论