![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 81
fugui6611634
这个作者很懒,什么都没留下…
展开
-
配置hadoop集群一
花了1天时间终于把环境搭建好了,整理了一下,希望对想学习hadoop的有所帮助。 资料下载:http://pan.baidu.com/s/1kTupgkn 包含了linux虚拟机,jdk, hadoop1.0 环境搭建准备工作: hadoop_master 192.168.50.158 hadoop_slave 192.168.50.136 网络配原创 2014-06-27 14:07:59 · 680 阅读 · 0 评论 -
配置hadoop集群二
hadoop环境搭建初始篇基本就能够满足集群的搭建。本篇主要是对环境搭建更好的细化和问题的分析。 第一次启动Hadoop,必须先格式化namenode #cd $HADOOP_HOME /bin #hadoop namenode –format 如果出现错误,可以试着尝试一下删除tmp临时目录。 启动Hadoop #cd $HADOOP_HOME/bin #./s原创 2014-06-27 14:10:25 · 330 阅读 · 0 评论 -
hadoop配置说明
core-site.xml name value Description fs.default.name hdfs://hadoopmaster:9000 定义HadoopMaster的URI和端口 fs.checkpoint.dir /opt/data/hadoop1/hdfs/namesecondar原创 2014-06-27 14:11:18 · 820 阅读 · 0 评论 -
hadoop分布式架构和设计
引言 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取文件原创 2014-06-27 14:33:27 · 799 阅读 · 0 评论