- 博客(4)
- 收藏
- 关注
RSS订阅原创 Hadoop应用设计的思考
最近的事确实很多，但大部分精力都放在了项目的设计方面，最近几天才完成了一些初步的编码的工作。在这个阶段，我发现，需要对数据的录入和Job执行的管理做细致的规划，否则在后期的扩展性上将有很大的局限。我设计的框架大体如下： 在这个结构里面，可以明显的看到我采用了2种Client，一个是数据录入层，一个是Job管理层。这里我说明一下为什么需要这2种Client。 1、数据录入主要接收数
2010-09-30 10:15:00
1525
1
原创 Eclipse下配置使用Hadoop插件
一、环境配置 1、Eclipse 版本 3.3.X 2、Hadoop版本 0.20.2 二、配置流程 1、将/hadoop-0.20.2/hadoop-0.20.2/contrib/eclipse-plugin/下的hadoop-0.20.2-eclipse-plugin.jar拷贝到eclipse-SDK-3.3.2-win32/eclipse/plugins/下。 2、启动eclipse，点击Window->Show View->Other，点击MapReudce Tools->Map/Red
2010-09-27 12:54:00
5355
原创 Hadoop节点热拔插
一、 Hadoop节点热拔插 在Hadoop集群中经常会进行增添节点操作，即实现节点的热拔插。在这些操作中不希望对集群进行重启。 2.在集群中添加节点： a. 把新节点IP或者主机名字加入到主节点的slaves文件。 b. 登录到新节点，执行： cd $HADOOP_HOME && bin/hadoop-daemon.sh start datanode && bin/hadoop-daemon.sh start tasktracker 3. 从集群中移走节点，且对移走节点的数据进行备份： a.
2010-09-09 11:36:00
3460
原创 Hadoop集群中关于SSH认证权限的问题
今天回北京了，想把在外地做的集群移植回来，需要修改ip地址和一些配置参数，结果在配置的过程中，总是会有一些提示，说是我的机器之间的认证权限有问题。所以对照以前写的安装手册，把ssh重新配置了一遍。但是发现在启动的时候还是有提示，说是我的ssh有错误，还是需要输入yes和密码来登录。总结了一下，内容如下： 1、hadoop的ssh配置namenode无密码访问datanode需要配置各个机器，详细步骤可以参看安装手册。 2、需要配置本地的无密码访问，因为默认情况下secondaryname
2010-09-03 15:25:00
2160
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人