环境ubuntu
安装java环境
下载java安装包 我下载的版本为 jdk-8u201-linux-x64.tar.gz
下载hadoop安装包 hadoop-2.6.5.tar.gz
将这两个文件上传至ubuntu
新建java的安装目录 mkdir -p /usr/java/jdk
将jdk解压到该目录tar -zxvf jdk-8u201-linux-x64.tar.gz /usr/java
配置java环境 vi /etc/profile
#set java environment
export JAVA_HOME=/usr/java/jdk/jdk1.8.0_201 # java解压目录
export JRE_HOME=/usr/java/jdk/jdk1.8.0_201/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$JAVA_HOME:$PATH:
source /etc/profile
使java生效 检查是否配置成功 java -version
配置ssh
ssh主要是免密连接
sudo apt-get install openssh-server
生成私钥和公钥:ssh-keygen -t rsa -P ""
因为我已有私钥,所以会提示是否覆盖当前私钥。第一次操作时会提示输入密码,按Enter直接过,这时会在~/home/{username}/.ssh下生成两个文件:id_rsa和id_rsa.pub,前者为私钥,后者为公钥,现在我们将公钥追加到authorized_keys中(authorized_keys用于保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容):
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
现在可以登入ssh确认以后登录时不用输入密码:
ssh localhost
安装hadoop
创建hadoop目录 mkdir -p /usr/hadoop
将hadoop解压到该文件夹中 tar -zxvf hadoop-2.6.5.tar.gz /usr/hadoop
配置hadoop虚拟环境
vi /etc/profile
export HADOOP_HOME=/usr/hadoop/hadoop-2.6.5 # hadoop解压目录
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$JAVA_HOME:$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin # 这个就是上面那个path后面追加hadoop的配置
source /etc/profile
使hadoop配置生效
验证看是否配置成功 输入hadoo 使用补全键看是否可以补全
hadoop配置
增加host vi /etc/hosts
在后面追加本机ip 输入node03 使用node03 就可以调用本机ip了 减少输入ip的麻烦
配置hadoop-env.sh /usr/hadoop/hadoop-2.6.5/etc/hadoop
然后 vi hadoop-env.sh
在最后面追加
export JAVA_HOME=/usr/java/jdk/jdk1.8.0_201 # java安装目录
export HDFS_NODENAME_USER=root # nodename用户 下面同理
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNODE_USER=root
配置core-site.xml vi core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://node03:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/we</value> # 启动时 目录文件位置
</property>
</configuration>
配置hdfs-site.xml vi hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node03:9868</value>
</property>
</configuration>
slaves配置slaves vi slaves
在里面加上node03
这些配置完 就可以启动了
初始化 hdfs namenode -format
显示这个说明初始化成功了
启动start-dfs.sh
输入jps查看进程是否启动
hadoop的伪分布式主要是用于测试使用 在正式的线上一般使用ha的全分布式配置