Hadoop
文章平均质量分 81
fugui6611634
这个作者很懒,什么都没留下…
展开
-
配置hadoop集群一
花了1天时间终于把环境搭建好了,整理了一下,希望对想学习hadoop的有所帮助。资料下载:http://pan.baidu.com/s/1kTupgkn包含了linux虚拟机,jdk, hadoop1.0环境搭建准备工作:hadoop_master 192.168.50.158hadoop_slave 192.168.50.136网络配原创 2014-06-27 14:07:59 · 685 阅读 · 0 评论 -
配置hadoop集群二
hadoop环境搭建初始篇基本就能够满足集群的搭建。本篇主要是对环境搭建更好的细化和问题的分析。第一次启动Hadoop,必须先格式化namenode#cd $HADOOP_HOME /bin#hadoop namenode –format如果出现错误,可以试着尝试一下删除tmp临时目录。启动Hadoop#cd $HADOOP_HOME/bin#./s原创 2014-06-27 14:10:25 · 332 阅读 · 0 评论 -
hadoop配置说明
core-site.xml namevalue Description fs.default.namehdfs://hadoopmaster:9000定义HadoopMaster的URI和端口 fs.checkpoint.dir/opt/data/hadoop1/hdfs/namesecondar原创 2014-06-27 14:11:18 · 823 阅读 · 0 评论 -
hadoop分布式架构和设计
引言Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取文件原创 2014-06-27 14:33:27 · 800 阅读 · 0 评论