hadoop
离线之间
这个作者很懒,什么都没留下…
展开
-
如何把hdfs上的多个目录下的文件合并为一个文件
hdfs dfs -cat /folderpath/folder* | hdfs dfs -copyFromLocal - /newfolderpath/file这样可以把文件hdfs上 /folderpath目录下的/folder开头的文件,还不合并到/newfolderpath目录下的file一个文件中 注意/folder*必须是文件,而不能是文件夹,如果是文件夹,可以/folder*/*cat原创 2016-08-03 20:53:21 · 4086 阅读 · 0 评论 -
Hadoop安装前准备
1. 安装Java2. 配置IP在 /etc/hosts 里面配置IP和主机名192.168.149.128 namenode192.168.149.129 datanode1192.168.149.130 datanode23. 配置环境变量 最好新建一个用户,在该用户目录下的 .bashrc 中添加 JAVA_HOME等环境变量4. ssh免密码登录 ssh-keygen -t原创 2016-08-01 16:54:55 · 166 阅读 · 0 评论 -
Hadoop安装常见问题
安装好后50070页面打不开 可能原因: 防火墙未关闭,需要把每个节点的防火墙关闭 命令:service iptables stop50070页面打开只显示一个节点或无节点 可能原因: 各个节点之间通信有问题 之前安装过的文件直接拷贝过来的,需要把name和data目录下的内容全部删除,然后重新 hadoop namenode -format 如果还是不行,就只能查看日志有什么错误原创 2016-08-01 19:57:20 · 198 阅读 · 0 评论 -
Hadoop添加和删除节点
在不重启Hadoop集群的情况下添加和删除新节点(一)添加新节点:1.修改host和普通的datanode一样。添加namenode的ip 2.修改namenode的配置文件conf/slaves添加新增节点的ip或host 3.在新节点的机器上,启动服务./bin/hadoop-daemon.sh start datanode./bin/hadoop-daemon.sh start tasktr原创 2016-09-01 12:38:06 · 181 阅读 · 0 评论