Hadoop大数据处理
让数据讲故事,并且讲给别人听
fazhi-bb
物有本末,事有终始,知所先后,则近道矣。
展开
-
[Hadoop合并小文件的两种解决方案]
在Hadoop的运行环境中,什么文件是小文件?在Hadoop的世界中,小文件是指文件大小远远小于HDFS块大小的文件。Hadoop2.0中,HDFS默认的块大小是128MB,所以,比如2MB,7MB或9MB的文件就认为是小文件。在Hadoop的环境中,块大小是可以通过参数配置的,这个参数由一个名为dfs.block.size定义。如果一个应用要处理一个超大的文件,可以通过这个参数设置更大更...原创 2018-07-03 21:50:28 · 28224 阅读 · 5 评论 -
[Hadoop性能调优]
一、 Hadoop概述 随着企业要处理的数据量越来越大,MapReduce思想越来越受到重视。Hadoop是MapReduce的一个开源实现,由于其良好的扩展性和容错性,已得到越来越广泛的应用。 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提...原创 2018-05-11 21:56:16 · 12982 阅读 · 1 评论 -
[Hadoop完全分布式集群部署]
Hadoop完全分布式集群部署1 集群规划 以四台机器为例,linux用的是CentOS 6.5 x64的机器对集群部署进行规划,所有机器的用户名及密码均为hadoop。主机名 安装软件 JPS hdfs yarn HistoryServer cdh.hadoo.com Jdk/hadoop NameNode RecourceManager JobHistoryServe...原创 2018-05-12 14:34:55 · 12115 阅读 · 0 评论 -
[Hadoop-HA高可用集群部署]
1 集群规划 以5台机器为例,linux用的是CentOS 6.5 x64的机器对集群部署进行规划,所有机器的用户名及密码均为hadoop。名称 主机名 安装软件 JPS PC1 cdh.hadoo.com Jdk/hadoop NameNode ZKFC Resourcemanager JobHistoryServer PC2 master2.hadoop.com ...原创 2018-06-10 15:22:21 · 9766 阅读 · 0 评论