hadoop
文章平均质量分 80
Tao_J
这个作者很懒,什么都没留下…
展开
-
kafka安装笔记
kafka安装文档1 下载kafka下载版本为:apache-storm-0.9.2-incubating.tar.gz2 把kafka移动到/home/hdfs目录下并解压,重命名 执行如下命令: tar -zxvf apache-storm-0.9.2-incubating.tar.gz mv apache-storm-0.9.2原创 2014-10-18 22:04:30 · 592 阅读 · 0 评论 -
Hadoop HA高可用性架构和演进分析
1.概况截至目前,Apache Hadoop版本分为两代,我们将第一代Hadoop称为Hadoop 1.0,第二代Hadoop称为Hadoop 2.0。前者主要有如下几种实现方式:1)社区版本基于Secondary namenode机制来定时备份HDFS metadata元数据信息;2)Avatar在Secondarynamenode的基础上实现了基于NFS共享存储方式的热备方案。3)Back原创 2014-10-18 22:27:12 · 807 阅读 · 0 评论 -
Hive安装笔记
Hive安装笔记1. 安装mysql准备好MySQL安装包:执行如下命令:sudo rpm -e--nodeps mysqlyum list | grep mysqlsudo yum install -y mysql-server mysqlmysql-deve为root用户设置密码:mysqladmin -u root password 'root'原创 2014-10-18 22:45:05 · 601 阅读 · 0 评论 -
Hadoop 各节点负载均衡
Hadoop 各节点负载均衡背景:对于HDFS集群,经常长时间的运行,数据量会增趋势性增长,hdfs的使用率会越来越饱和,此时会对hdfs进行扩容,而扩容之后为了提高各个datanode之间的分布式读写效率,必须实现节点之间的负载均衡。另外集群经过大量的delete操作后,各个Datanode上的空间使用率可能会存在比较大的差异,少数使用率过高的Datanode会导致对其的数据访问效率变低原创 2014-10-18 22:17:39 · 4137 阅读 · 0 评论