配置Hadoop遇到的一些坑[Ubuntu 16.04, Hadoop 3.1]

原创 2018年04月16日 16:29:17

坑一:

Ubuntu自带的openjdk仅有最基本的运行环境,如果需要开发环境,还需要安装jdk

sudo apt-get install openjdk-8-jdk

然后再配置相关的环境变量....

坑二:

设置本地ssh访问免密

    生成密钥

输入命令 ssh-keygen -t rsa  然后一路回车即可

    复制到公共密钥中

sudo cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

坑三:

运行start_dfs.sh的时候,仍然出现缺少几个变量的定义:

比如HDFS_DATANODE_USER

看到网上的解决方案,往start_dfs.sh和stop_dfs.sh开头加:

HDFS_DATANODE_USER=hadoop  
HADOOP_SECURE_DN_USER=hdfs  
HDFS_NAMENODE_USER=hadoop  
HDFS_SECONDARYNAMENODE_USER=hadoop 
注意,将hadoop切换为你当前使用的用户名


ubuntu 16.04 搭建hadoop (单机模式)

ubuntu 16.04 搭建hadoop (单机模式)本文环境是:Ubuntu16.04LTS+Java 1.8.0_111+Hadoop 2.7.3一、下载和安装Java1)下载:Java在官网下...
  • zhumingyuan111
  • zhumingyuan111
  • 2016年11月13日 16:16
  • 211

Ubuntu16.04 hadoop2.7.3 伪分布配置

一、在Ubuntu配置java环境变量我是下载jdk1.8.0_151最新版本的。官方网站:http://www.oracle.com/technetwork/java/javase/download...
  • weixin_38676040
  • weixin_38676040
  • 2017年10月29日 14:55
  • 408

ubuntu16.04 Hadoop安装

主要参考: 在Ubuntu 14.04 LTS上安装部署Hadoop 2.7.1(伪分布式)配置ssh免密码登录 安装ssh server: sudo apt-get install openssh-...
  • butterfly9844
  • butterfly9844
  • 2017年10月02日 21:55
  • 481

Ubuntu16.04安装Hadoop2.7.3教程

Ubuntu16.04安装Hadoop2.7.3 教程参考厦门大学数据库实验室 http://dblab.xmu.edu.cn/blog/install-hadoop/,遇到相关的地方有改动。作者:秦...
  • qjk19940101
  • qjk19940101
  • 2017年04月23日 20:07
  • 7121

Ubuntu16.04下hadoop-2.6.0单机配置和伪分布式配置

[-] 注意安装之前最好删除hadoop-260dfsdata下的所有文件避免出现各种问题尤其安装包不是官方现下载的需要重新编译的教程httpblogcsdnnetggz631047367art...
  • a925907195
  • a925907195
  • 2016年09月22日 17:16
  • 2294

Ubuntu-16.04 下 Hadoop-2.8.0环境搭建

学习如何在Linux上部署Hadoop集群第一步:在Ubuntu16.04下部署JDK环境Hadoop的前提是需要有Java环境。 建议安装JDK1.6以上的版本以供使用。 JDK下载地址 :我这里...
  • zhengshidao
  • zhengshidao
  • 2017年07月11日 14:49
  • 1097

Ubuntu16.04上搭建Hadoop2.7.2的单机模式和伪分布式模式

hadoop的单机模式和伪分布式模式可以说是学习hadoop的入门搭建环境,主要通过简单环境的搭建,对hadoop的MapReduce和HDFS有一个基础的认识。为分布式集群的搭建和学习起到引领的作用...
  • monkeys2012
  • monkeys2012
  • 2016年07月20日 21:54
  • 2878

Ubuntu 16.04安装Hadoop及Spark

安装Hadoop及Spark(Ubuntu 16.04) 安装JDK 下载jdk(以jdk-8u91-linux-x64.tar.gz为例) 新建文件夹 sudo mkdir /u...
  • u011596455
  • u011596455
  • 2016年11月10日 14:29
  • 686

Hadoop生态系统搭建(1)——Ubuntu16.04环境搭建 Hadoop 2.7.0 全分布式环境

1. 系统环境Ubuntu 16.04 vmware hadoop 2.7.0 java 1.8.0_111master:192.168.19.128 slave1:192.168.19.12...
  • Mark_LQ
  • Mark_LQ
  • 2016年11月28日 21:46
  • 6617

Ubuntu16.04安装Hadoop2.6+Spark1.6+开发实例

Ubuntu16.04安装Hadoop2.6+Spark1.6,并安装python开发工具Jupyter notebook,通过pyspark测试一个实例,調通整个Spark+hadoop伪分布式开发...
  • dream_an
  • dream_an
  • 2016年07月19日 13:27
  • 12962
收藏助手
不良信息举报
您举报文章:配置Hadoop遇到的一些坑[Ubuntu 16.04, Hadoop 3.1]
举报原因:
原因补充:

(最多只允许输入30个字)