Ubuntu下Hadoop的安装配置

Hadoop安装配置
一：安装虚拟机vmver
二：安装Ubuntu
三：安装ssh,将其设置成无密码登录
1.sudo apt-get install openssh-server:安装ssh server
2.ssh localhost :登录ssh ，第一次登录可能会让你输入Y(YSE)
3.exit :退出登录ssh
4.cd ~./ssh/ :进入ssh目录。如果进不去，就再输一次ssh localhost
5.ssh-keygen -t rsa :会弹出如下图片，一直按回车即可

6.然后会弹出如下图所示：

7.然后还有最后一步：cat ./id_rsa.pub >> ./authorized_keys(加入授权）
8.此时在输入：ssh localhost,出现下图就是成功

四：安装JDK
（一）下载JDK官网地址https://www.oracle.com/technetwork/java/javase/downloads/jdk13-downloads-5672538.html
(记住下载linux版本)（可以放在和download同级目录下）
（二）创建一个文件夹: mkdir java(你会在主目录下看到一个Java文件夹)
（三）解压JDK: tar -zxvf jdk-7u65-linux-i586.tar.gz -c java/(解压到Java文件夹)
（四）配置JDK环境变量
1.sudo vim /etc/profile :（可能会让输入密码）添加如下四行：
export JAVA_HOME=/home/hao(这里输入你自己的用户名)/java/jdk-13.0.1（剩下三行直接复制就可以，不需要修改）
export JRE_HOME=$JAV{A}_{H}OME/jreexportCLASSPATH=.:$JAVA_HOME/lib:$JR{E}_{H}OME/libexportPATH=$PATH:$JAVA_HOME/bin
2. source /etc/profile :让它立即生效
3.输入java -version,出现下面这样就成功了

4.如果不行： sudo vim ./brshrc :加入如下几行
export JAVA_HOME=/home/hao(这里输入你自己的用户名)/java/jdk-13.0.1（剩下三行直接复制就可以，不需要修改）
export JRE_HOME=$JAV{A}_{H}OME/jreexportCLASSPATH=.:$JAVA_HOME/lib:$JR{E}_{H}OME/libexportPATH=$PATH:$JAVA_HOME/bin
5.然后 source ./brshrc
6.再输入java -version就可以了
！！！！！！！！！
注意！其实只要修改 vim /etc/profile 然后source /etc/profile就成功了
如果出错！看你的export JAVA_HOME=/home/hao/java/jdk-13.0.1这行代码！出错点只会在这里！配一个成功图片

（五）安装HADOOP
1.：下载hadoop:

2：压缩hadoop: sudo -xzvf hadoop-3.2.0.tar.gz -C app/
3：我这里给hadoop改了名。
4：将hadoop路径加入/etc/profile
export HADOOP_HOME=/home/hao/app/hadoop（自己的路径）（剩下三行直接复制不需要改）
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATHexportHADOO{P}_{C}OMMO{N}_{L}I{B}_{N}ATIV{E}_{D}IR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

5:source /etc/profile 保存一下使设置生效，！这一步容易将PATH路径覆盖，导致linux命令无法使用，所以要小心一点！！！
6：进入文件根目录，输入： hadoop version查看
(六):伪分布式配置
1.输入 vim hadoop-env.sh(在hadoop目录下执行)修改hadoop的环境变量，加入jdk的路径：
export JAVA_HOME=/home/hao/java/jdk-13.0.1

2.需要修改的文件。。core-site.xml和hdfs-site.xml(mapred-site.xml和yarn-site.xml非必须)
3.修改 core-site.xml 输入 sudo vim core-site.xml(在/hadoop/etc/hadoop目录下输入)


hadoop.tmp.dir
file:/home/hao/app/hadoop/tmp
Abase for other temporary directories.


fs.defaultFS
hdfs://localhost:9000 //这里不需要修改


4.修改hdfs-site.xml 文件
5.执行namenode格式化 ./bin/hdfs namenode -format(在hadoop根目录)
6.执行最后一步：：：： ./sbin/start-dfs.sh

7.输入jps
8.查看

9.到这里就可以了：：：：：！！！！！！！！！！下面的非必须
修改etc/hadoop/mapred-site.xml
sudo vim etc/hadoop/mapred-site.xml

10.修改 etc/hadoop/yarn-site.xml
命令就是上边的加上 sudo

11.最后启动资源管理器：：：./sbin/start-yarn.xml

成功！！！！
在ubuntu的火狐浏览器输入：：：：http://localhost:9870就可以了（以前的50070已经被淘汰了）