- 博客(4)
- 收藏
- 关注
原创 Hadoop应用设计的思考
最近的事确实很多,但大部分精力都放在了项目的设计方面,最近几天才完成了一些初步的编码的工作。在这个阶段,我发现,需要对数据的录入和Job执行的管理做细致的规划,否则在后期的扩展性上将有很大的局限。我设计的框架大体如下: 在这个结构里面,可以明显的看到我采用了2种Client,一个是数据录入层,一个是Job管理层。这里我说明一下为什么需要这2种Client。 1、数据录入主要接收数
2010-09-30 10:15:00 1525 1
原创 Eclipse下配置使用Hadoop插件
一、环境配置 1、Eclipse 版本 3.3.X 2、Hadoop版本 0.20.2 二、配置流程 1、将/hadoop-0.20.2/hadoop-0.20.2/contrib/eclipse-plugin/下的hadoop-0.20.2-eclipse-plugin.jar拷贝到eclipse-SDK-3.3.2-win32/eclipse/plugins/下。 2、启动eclipse,点击Window->Show View->Other,点击MapReudce Tools->Map/Red
2010-09-27 12:54:00 5355
原创 Hadoop节点热拔插
一、 Hadoop节点热拔插 在Hadoop集群中经常会进行增添节点操作,即实现节点的热拔插。在这些操作中不希望对集群进行重启。 2.在集群中添加节点: a. 把新节点IP或者主机名字加入到主节点的slaves文件。 b. 登录到新节点,执行: cd $HADOOP_HOME && bin/hadoop-daemon.sh start datanode && bin/hadoop-daemon.sh start tasktracker 3. 从集群中移走节点,且对移走节点的数据进行备份: a.
2010-09-09 11:36:00 3460
原创 Hadoop集群中关于SSH认证权限的问题
今天回北京了,想把在外地做的集群移植回来,需要修改ip地址和一些配置参数,结果在配置的过程中,总是会有一些提示,说是我的机器之间的认证权限有问题。所以对照以前写的安装手册,把ssh重新配置了一遍。但是发现在启动的时候还是有提示,说是我的ssh有错误,还是需要输入yes和密码来登录。总结了一下,内容如下: 1、hadoop的ssh配置namenode无密码访问datanode需要配置各个机器,详细步骤可以参看安装手册。 2、需要配置本地的无密码访问,因为默认情况下secondaryname
2010-09-03 15:25:00 2160
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人