Hadoop
kongxx
这个作者很懒,什么都没留下…
展开
-
hadoop "File /user/<user>/input/conf/slaves could only be replicated to 0 nodes, instead of 1"问题及解决办
本文地址:http://blog.csdn.net/kongxx/article/details/6892675安装hadoop的官方文档安装后,在伪分布式模式下运行bin/hadoop fs -put conf input出现以下异常11/10/20 08:18:22 WARN hdfs.DFSClient: DataStreamer Exception: org.a原创 2011-10-21 08:20:11 · 7038 阅读 · 1 评论 -
hadoop实战之安装与单机模式
本文地址:http://blog.csdn.net/kongxx/article/details/68915911. 下载最新的hadoop安装包,下载地址http://hadoop.apache.org/,这里我使用的是hadoop-0.20.203.0rc1.tar.gz版本;2. 解压压缩包到自己的目录,比如解压到/data/fkong目录下,为了后面说明方法,这里把/data/fk原创 2011-10-20 18:15:08 · 3233 阅读 · 0 评论 -
hadoop实战之伪分布式模式
本文地址:http://blog.csdn.net/kongxx/article/details/6891761Hadoop可以在单节点上以所谓的伪分布式模式运行,此时每一个Hadoop守护进程都作为一个独立的Java进程运行,这种运行方式的配置和操作如下:关于hadoop的安装和测试可以参考hadoop学习之安装与单机模式这里仍假定${HADOOP_HOME}为位置是/data/原创 2011-10-20 19:46:56 · 2818 阅读 · 1 评论 -
hadoop实战之动态添加节点
本文地址:http://blog.csdn.net/kongxx/article/details/6896230假定已经有了一个hadoop cluster环境,并且已经有了两个slave节点fkongnix1和fkongnix2,这里需要动态添加一个新的节点fkongnix3.对于hadoop分布式模式环境的搭建可以参考 hadoop学习之分布式模式1. 修改${HADOOP_H原创 2011-10-22 13:38:18 · 8226 阅读 · 0 评论 -
hadoop实战之分布式模式
本文地址:http://blog.csdn.net/kongxx/article/details/68962141. 首先为hadoop的集群准备几台机器,这里机器名如下:fkongnix0 (master)fkongnix1 (slave1)fkongnix2 (slave2)2. 修改每个机器的/etc/hosts文件,确保每个机器都可以通过机器m名互相访问;3.原创 2011-10-22 13:33:34 · 3746 阅读 · 1 评论 -
使用Maven搭建Hadoop开发环境
关于Maven的使用就不再啰嗦了,网上很多,并且这么多年变化也不大,这里仅介绍怎么搭建Hadoop的开发环境。1. 首先创建工程mvn archetype:generate -DgroupId=my.hadoopstudy -DartifactId=hadoopstudy -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveM原创 2015-01-02 09:10:43 · 41222 阅读 · 2 评论 -
Hadoop实战之分布式模式
1. 安装这里假定我们运行Hadoop集群的三台机器名分别为fanbinx1,fanbinx2,fanbinx3。其中fanbinx1作为master节点,fanbinx2和fanbinx3作为slave节点。另外我们Hadoop的2.5.1的安装包安装到各个机器的/opt/hadoop目录下,为了说明方便我们这里使用$HADOOP_HOME来代替/opt/hadoop目录并在此目录下创建下面三个原创 2015-01-01 11:19:59 · 2509 阅读 · 0 评论 -
Hadoop3-伪分布式模式安装
今天无意间看到Hadoop3去年年底就release了,今天就准备装个环境看看。安装配置首先从下面的地址下载安装包http://hadoop.apache.org/releases.html这里我下载的是hadoop-3.0.0.tar.gz包,解压安装。$ tar zxvf hadoop-3.0.0.tar.gz$ cd hadoop-3.0.0/编辑etc...原创 2018-02-23 07:56:11 · 2248 阅读 · 1 评论 -
Hadoop3-分布式模式安装
接前一篇博客,这次做安装一个真正的分布式集群环境。准备这里准备三台机器bd1,bd2,bd3来组个hadoop集群,其中bd1作为namenode,bd1,bd2,bd3作为datanode配置这三台机器之间可以免密码 SSH 登录,参考我以前的博客。配置修改下面几个配置文件etc/hadoop/core-site.xml<configurati...原创 2018-02-24 10:08:36 · 855 阅读 · 0 评论