Hadoop
Rainy-Peking
Keep
展开
-
Hadoop初体验之分布式安装
〇、集群结构及IP地址 安装前准备 此次安装是分布式安装,使用三节点(一个主节点,两个从节点)。 操作系统为:Ubuntu 16.04LTS。 0)修改每台机器的IP地址 #修改配置文件interfaces sudo vim /etc/network/interfaces #为enp2s0网卡添加以下内容,具体名称看实际使用的网卡名 auto enp2s0 iface enp2s0...原创 2019-04-08 10:21:07 · 264 阅读 · 0 评论 -
ssh不能免密码登录自己
问题描述:在搭建Hadoop集群的时候需要设置集群之间的ssh免密登录(搜一下很多教程,在此就不列出)。当我设置好以后之后发现ssh登录其他slave时可以实现免密码登录,但是唯独ssh master(本机)时提示需要输入密码。 这个问题困扰了我好久,今天终于找到了解决办法: 造成这样问题的原因有二: 一、.ssh及其下属子文件的权限问题 ~/.ssh/目录下文件的权限应该如下所示,如果与...原创 2019-04-25 19:50:59 · 2549 阅读 · 0 评论 -
远程使用Windows编写Hadoop代码出现的权限问题
截图没了,大概意思就是:告诉你Windows当前用户Administrator没有权限进行写操作。 解决办法一:Administrator是Windows上面的账号,当然在HDFS中没有写权限了。那么我们可以在安装Hadoop的Master机器上新建一个Administrator用户(与Windows使用账户同名即可),并将其添加到supergroup用户组中。 操作过程: 1、在Linux...原创 2019-04-23 18:05:54 · 240 阅读 · 0 评论 -
远程使用Eclipse对HDFS上的文件进行追加操作出现错误
错误详情:java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try. 解决办法见:https://blog.csdn.net/xpy870663266/article/details/6012...原创 2019-04-25 14:15:36 · 268 阅读 · 0 评论