目录
参考文章:
推荐程度 | 链接 | 备注 |
1 | 直接根据这篇文章来学习安装吧!这是Hadoop3.0的。(防坑笔记)hadoop3.0 (一) 环境部署与伪分布式(hdfs)_CoffeeAndIce的博客-CSDN博客【很棒!!】 | |
2 | https://www.jianshu.com/p/de4d56433848 【这个简书文章有点bug,尤其是里面推荐的文章必看!!】和 (防坑笔记)hadoop3.0 (一) 环境部署与伪分布式(hdfs)_CoffeeAndIce的博客-CSDN博客【很棒!!】 | 这篇简书,他没写清楚。坑死我了。详细看:解决报错:ERROR: Attempting to operate on yarn resourcemanager as root |
过程记录:
目的 | 明细 |
安装包 | 下载Binary download版本,不要source版本 |
修改默认的“非免密的(设置)” | 来自 <(防坑笔记)hadoop3.0 (一) 环境部署与伪分布式(hdfs)_CoffeeAndIce的博客-CSDN博客>
设置为免密登录 |
解决报错:ERROR: Attempting to operate on yarn resourcemanager as root | 报的错有点不一样,注意是顶部空白处(即#!/usr/bin/env bash 之后)添加。https://www.jianshu.com/p/de4d56433848 简书这篇傻逼,他没写清楚。坑死我了。 |
启动hadoop | 有条件的话,就是如果centos7装了gui的话。 Namenode information: http://localhost:9870 All Applications: http://localhost:8088 HDFS NameNode web interface: http://localhost:8042 就能直接在浏览器访问了。 |
修改 Hadoop 配置文件:
配置文件名称 | 如何修改 |
/etc/hadoop/hadoop-env.sh | 这个就配置了javahome |
/etc/hadoop/core-site.xml | |
/etc/hadoop/hdfs-site.xml | |
/etc/hadoop/mapred-site.xml | |
/etc/hadoop/yarn-site.xml | |
/approot/hadoop-3.2.1/sbin/start-dfs.sh |
|
/approot/hadoop-3.2.1/sbin/stop-dfs.sh |
|
/approot/hadoop-3.2.1/sbin/start-yarn.sh |
|
/approot/hadoop-3.2.1/sbin/stop-yarn.sh |
|
安装mysql:
参考文章
来自 <Linux下安装mysql-5.7.24 - 简书> (多看这篇文章的评论,挺多坑的) |
借鉴<https://www.jianshu.com/p/276d59cbc529> 的思路,先删除现有的mysql,软连接的部分可以不做。 主要就根据Hive 1.2.1&Spark&Sqoop安装指南 - 云+社区 - 腾讯云的图中的步骤做了,然而我都没填写my.cnf也能启动 |
wget https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.24-linux-glibc2.12-x86_64.tar.gz
service mysql restart
报错信息 | 解决措施 |
MYSQL常见安装错误集:[ERROR] --INITIALIZE SPECIFIED BUT THE DATA DIRECTORY HAS FILES IN IT. ABORT 来自 <MYSQL常见安装错误集:[ERROR] --initialize specified but the data directory has files in it. Abort - 兜风 - 博客园> 感觉软连接就像快捷方式, | |
超级用户root,直接mysql,就能操作mysql客户端 |
|
org.apache.hadoop.ipc.RemoteException: User: root is not allowed to impersonate root | 安装HIve |
安装Hadoop2.7.2
安装包地址Index of /dist/hadoop/core/hadoop-2.7.2
参考文章https://www.cnblogs.com/hello-/articles/9600269.html 和 Hadoop 2.7.2 安装配置 - 简书(推荐)
实战 | ||
| Master 192.168.1.213 wwh213 然而根本没有改变
| |
| 其实我在弄hadoop3的时候已经设置免密了。但我还没有设置免密的部分。 | |
All Applications HDFS Map/Reduce 作者:冬瓜baba 链接:https://www.jianshu.com/p/2bb8ba1fc975 来源:简书 | ||
报错 | | 我的/etc/hosts中hadoop03写成了haddop03了 |
启动 | 虽然报红还是成功了。 切记/approot/hive/apache-hive-3.1.2-bin/conf的hive-env.sh也要修改。 | |