eclipse+hadoop2.6.x环境搭建总结

目的
  • 完成eclipse + hadoop2.6.x 开发环境搭建 ;
  • 常见错误总结 ;
  • 大数据等综合技术积累 .

环境搭建

问题总结 (重点)
  • 问题 1 :密码登录
    • hadoop设置 ssh 免密码登录(否则每次启动【start-all.sh】都需要输入多次密码,浪费时间)
    • 命令分以下4步(主节点,从节点配置类似):
      • cd ~
      • ssh-keygen -t rsa -P ""
      • cd .ssh
      • cat id_rsa.pub >> authorized_keys)

  • 问题 2 : java.lang.NullPointerException
    • An internal error occurred during: "Map/Reduce location status updater". java.lang.NullPointerException 异常,连接失败。
    • 原因分析 & 解决办法
      • 1 配置的参数不正确
        ec_peizhi
        • 注释 A ( Map/Reduce Master 框 )
          • Host : jobtracker 所在集群机器,即 192.168.1.112
          • Port : jobtracker 通信端口,即 9001(默认端口号)
          • 配置文件 : 服务器 mapred-site.xml文件中 mapred.job.tracker属性的ip和port
        • 注释 B ( DFS Master 框 )
          • Host : namenode所在集群机器,即 192.168.1.112(伪分布)
          • Port : namenode port,即 9000 (默认端口号)
          • 配置文件 : 服务器 core-site.xml 文件中 fs.default.name属性的 ip 和 端口
          • Use M/R master host : 即 默认和A 框里的host一致;如果不勾选,可自定义输入
          • User name : 连接hadoop的用户名
      • 2 本地机器 IP 不正确
        • 有可能通过步骤 1 修改后, 仍旧无法连接成功,那么可以查看下是否存在第2 种原因。
        • 由于个人基于 Windows 7 + VMware 平台搭建Hadoop 开发环境,网络中存在多个无线网络,eclipse识别的本地网络IP 如下图所示:
        • error
        • 而本机 IP 地址为 192.168.1.112,与图中192.168.182.1不符; 通过控制面板相关设置 禁用 不相关网络。

  • 问题 3 : AccessControlException
    • HDFS 权限问题:Permission denied
      • org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied:
    • 解决办法


References
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xsimah

创作不易,感谢客官的打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值