Hadoop环境安装

目录

参考文章：

过程记录：

修改 Hadoop 配置文件：

配置文件名称

如何修改

备注

安装mysql：

安装Hadoop2.7.2

---

参考文章：

推荐程度

链接

备注

1

直接根据这篇文章来学习安装吧！这是Hadoop3.0的。(防坑笔记)hadoop3.0 (一) 环境部署与伪分布式(hdfs)_CoffeeAndIce的博客-CSDN博客【很棒！！】

2

https://www.jianshu.com/p/de4d56433848??【这个简书文章有点bug，尤其是里面推荐的文章必看！！】和 (防坑笔记)hadoop3.0 (一) 环境部署与伪分布式(hdfs)_CoffeeAndIce的博客-CSDN博客【很棒！！】

这篇简书，他没写清楚。坑死我了。详细看：解决报错：ERROR: Attempting to operate on yarn resourcemanager as root

过程记录：

目的

明细

安装包

下载Binary download版本，不要source版本

修改默认的“非免密的(设置)”

来自 <(防坑笔记)hadoop3.0 (一) 环境部署与伪分布式(hdfs)_CoffeeAndIce的博客-CSDN博客>

grep -rn "PubkeyAuthentication yes"? /etc/ssh/sshd_config

设置为免密登录

解决报错：ERROR: Attempting to operate on yarn resourcemanager as root

报的错有点不一样，注意是顶部空白处****（即****#!/usr/bin/env bash **之后）**添加。https://www.jianshu.com/p/de4d56433848??简书这篇傻逼，他没写清楚。坑死我了。

启动hadoop

有条件的话，就是如果centos7装了gui的话。

Namenode information: http://localhost:9870

All Applications: http://localhost:8088

HDFS NameNode web interface: http://localhost:8042

就能直接在浏览器访问了。

修改 Hadoop 配置文件：

配置文件名称

如何修改

/etc/hadoop/hadoop-env.sh

这个就配置了javahome

/etc/hadoop/core-site.xml

/etc/hadoop/hdfs-site.xml

/etc/hadoop/mapred-site.xml

/etc/hadoop/yarn-site.xml

/approot/hadoop-3.2.1/sbin/start-dfs.sh

HDFS_DATANODE_USER=root

HDFS_DATANODE_SECURE_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

/approot/hadoop-3.2.1/sbin/stop-dfs.sh

?

HDFS_DATANODE_USER=root

HDFS_DATANODE_SECURE_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

/approot/hadoop-3.2.1/sbin/start-yarn.sh

?

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

/approot/hadoop-3.2.1/sbin/stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

?

安装mysql：

参考文章

来自 <Linux下安装mysql-5.7.24 - 简书> （多看这篇文章的评论，挺多坑的）

借鉴https://www.jianshu.com/p/276d59cbc529 的思路，先删除现有的mysql，软连接的部分可以不做。

主要就根据Hive 1.2.1&Spark&Sqoop安装指南 - 云+社区 - 腾讯云的图中的步骤做了，然而我都没填写my.cnf也能启动

?wget https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.24-linux-glibc2.12-x86_64.tar.gz

?service mysql restart

报错信息

解决措施

MYSQL常见安装错误集:[ERROR] --INITIALIZE SPECIFIED BUT THE DATA DIRECTORY HAS FILES IN IT. ABORT

来自 <MYSQL常见安装错误集:[ERROR] --initialize specified but the data directory has files in it. Abort - 兜风 - 博客园>

感觉软连接就像快捷方式，

超级用户root，直接mysql，就能操作mysql客户端

实现root用户的免密码登陆mysql - 简书

cat /etc/my.cnf

[mysqld]

datadir=/usr/local/mysql/data

port = 3306

sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES

symbolic-links=0

max_connections=400

innodb_file_per_table=1

#表名大小写不明感，敏感为

lower_case_table_names=1

?

[client]

host=localhost

user="root"

password="qwertyuiop1234567890"?? #这里填入你的mysql? root用户对应的密码

?

#然后保存之后就可以使用 sudo mysql 免密码进入mysql 了

org.apache.hadoop.ipc.RemoteException: User: root is not allowed to impersonate root

来自 <org.apache.hadoop.ipc.RemoteException: User: root is not allowed to impersonate root_tucailing的博客-CSDN博客>

安装HIve

安装Hadoop2.7.2

安装包地址Index of /dist/hadoop/core/hadoop-2.7.2

参考文章https://www.cnblogs.com/hello-/articles/9600269.html?和 Hadoop 2.7.2 安装配置 - 简书（推荐）

实战

Master 192.168.1.213 wwh213
Slave1 192.168.1.214 wwh214
Slave2 192.168.1.215 wwh215

来自 <Hadoop 2.7.2 安装配置 - 简书>

然而根本没有改变

Master 192.168.213.130 hadoop03

Slave1 192.168.213.131 hadoop04

Slave2 192.168.213.132 hadoop05

Slave3 192.168.213.128 hadoop01

Slave4 192.168.213.129 hadoop02

其实我在弄hadoop3的时候已经设置免密了。但我还没有设置免密的部分。

All Applications

http://192.168.1.213:8088/

HDFS

http://对应地址:50070/

Map/Reduce

http://192.168.1.213:50030/

作者：冬瓜baba

链接：https://www.jianshu.com/p/2bb8ba1fc975

来源：简书

报错

我的/etc/hosts中hadoop03写成了haddop03了

启动

虽然报红还是成功了。

切记/approot/hive/apache-hive-3.1.2-bin/conf的hive-env.sh也要修改。