自己用的东西

Hadoop安装和使用
一、实验目的
1、学习掌握创建hadoop用户、更新APT、安装SSH安装Java环境
2、通过实验学习hadoop集群搭建
二、实验内容
1、创建hadoop用户
2、更新APT
3、安装SSH
4、安装 Java 环境
5、安装Hadoop
6、配置Hadoop
三、具体过程
1、安装VMware Workstation
2、安装 Ubuntu16.04（典型安装）
用户名：hadoop
密码：hadoop
确认密码：hadoop
3、以hadoop用户进入系统
4、为hadoop用户增加管理权限
$ sudo adduser hadoop sudo
5、更新apt（apt用于后续安装软件）
$sudo apt-get updatepda
若出现 “Hash校验和不符” 的提示，可通过更改软件源来解决。若没有该问题，则不需要更改。从软件源下载某些软件的过程中，可能由于网络方面的原因出现没法下载的情况，那么建议更改软件源。在学习Hadoop过程中，即使出现“Hash校验和不符”的提示，也不会影响Hadoop的安装。
更改软件源：
首先点击左侧任务栏的【系统设置】（齿轮图标），选择【软件和更新】

点击 “下载自” 右侧的方框，选择【其他节点】

在列表中选中【mirrors.aliyun.com】，并点击右下角的【选择服务器】，会要求输入用户密码，输入即可。

接着点击关闭。

此时会提示列表信息过时，点击【重新载入】，

最后耐心等待更新缓存即可。更新完成会自动关闭【软件和更新】这个窗口。如果还是提示错误，请选择其他服务器节点如 mirrors.163.com 再次进行尝试。更新成功后，再次执行 sudo apt-get update 就正常了。
若出现其他问题自行百度解决
6、安装vim编译器
$ sudo apt-get install vim
#安装软件时若需要确认，在提示处输入 y 即可
7、安装SSH、配置SSH无密码登录
集群、单节点模式都需要用到 SSH 登陆（类似于远程登陆，你可以登录某台 Linux 主机，并且在上面运行命令），Ubuntu 默认已安装了 SSH client，此外还需要安装 SSH server：
$sudo apt-get install openssh-server
安装后，可以使用如下命令登陆本机：
$ssh localhost
#此时会有如下提示(SSH首次登陆提示)，输入 yes 。然后按提示输入密码 hadoop，这样就登陆到本机了
但这样登陆是需要每次输入密码的，我们需要配置成SSH无密码登陆比较方便
首先退出刚才的 ssh，就回到了我们原先的终端窗口，然后利用 ssh-keygen 生成密钥，并将密钥加入到授权中：
$exit # 退出刚才的 ssh localhost
$cd ~/.ssh/
$ssh -keygen -t rsa # 会有提示，都按回车就可以
ssh-keygen 命令中间没有空格，如果在ssh后面加上空格，会得到Bad escape character ‘ygen’.的错误。
KaTeX parse error: Expected 'EOF', got '#' at position 40: …thorized_keys #̲ 加入授权 此时再用 ssh localhost 命令，无需输入密码就可以直接登陆了
8、在windows环境中安装secureCRT
9、安装java环境
将本地文件jdk-8u162-linux-x64.tar.gz使用secureCRT传到linux系统中，默认传到linux的home目录中
$cd /usr/lib
$sudo mkdir jvm #创建/usr/lib/jvm目录用来存放JDK文件
$cd ~ #进入hadoop用户的主目录
$sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm #把JDK文件解压到/usr/lib/jvm目录下
$cd /usr/lib/jvm
$ls #查看是否解压成功，可以看到，在/usr/lib/jvm目录下有个jdk1.8.0_162目录
$cd ~
KaTeX parse error: Expected 'EOF', got '#' at position 15: vim ~/.bashrc #̲设置环境变量 在bashrc文…{JAVA_HOME}/jre
export CLASSPATH=.:$JAV{A}_{H}OME/lib:${JRE_HOME}/lib
export PATH=$JAV{A}_{H}OME/bin:$PATH
保存.bashrc文件并退出vim编辑器
$ source ~/.bashrc #使环境变量生效
$ java -version #查看是否安装成功，出现版本信息则安装成功
10、安装Hadoop（伪分布式安装）
将hadoop安装包传至linux系统中
$cd ~
$sudo tar -zxf hadoop-2.6.0.tar.gz -C /usr/local # 解压到/usr/local中
$cd /usr/local/
$sudo mv ./hadoop-2.6.0/ ./hadoop # 将文件夹名改为hadoop
$sudo chown -R hadoop ./hadoop # 修改文件权限
$cd /usr/local/hadoop
$./bin/hadoop version #查看是否安装成功，出现版本信息
11、修改配置文件
$ cd /usr/local/hadoop/etc/hadoop
$ vim core-site.xml
在配置文件中加入：

hadoop.tmp.dir
file:/usr/local/hadoop/tmp
Abase for other temporary directories.


fs.defaultFS
hdfs://localhost:9000

保存并退出
$ vim hdfs-site.xml
在配置文件中加入：

dfs.replication
1


dfs.namenode.name.dir
file:/usr/local/hadoop/tmp/dfs/name


dfs.datanode.data.dir
file:/usr/local/hadoop/tmp/dfs/data

保存并退出
12、NameNode 的格式化
cd /usr/local/hadoop
$ ./bin/hdfs namenode -format #只能格式化一次，不能反复格式化
成功的话，会看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若为 “Exitting with status 1” 则是出错
13、开启NameNode 和 DataNode
$ ./sbin/start-dfs.sh
#start-dfs.sh是个完整的可执行文件，中间没有空格
若出现如下SSH提示，输入yes即可
启动时可能会出现如下 WARN 提示：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable WARN 提示可以忽略，并不会影响正常使用。
成功启动后，可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件

JAVA_HOME=/usr/lib/jvm/java-1.11.0-openjdk-amd64
PATH=$JAV{A}_{H}OME/bin:$PATH
CLASSPATH=.:$JAV{A}_{H}OME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib/rt.jar
export JAVA_HOME
export PATH
export CLASSPATH

在同一目录下配置Mapred-site.xml文件夹，这里需要注意，在Hadoop2.7.3版本中这个文件夹是默认没有的，需要读者自己手动创建，创建的命令为：
cp Mapred-site.xml.template Mapred-site.xml
创建好之后，执行命令vi Mapred-site.xml进行配置，配置文件如下：


MapReduce.framework.name
yarn

在同一目录下配置yarn-site.xml文件夹，配置文件如下：


yarn.resourcemanager.hostname
bigdata01



yarn.nodemanager.aux-services
MapReduce_Shuffle

6）配置好以上文件夹之后，还需要配置slaves，命令如下：
vi slaves 进入之后输入你所有从节点的主机名，保存退出即可。

https://blog.csdn.net/qq_44937291/article/details/112298318

cd /usr/local/hadoop/etc/hadoop
gedit slaves
hadoop01
hadoop02
hadoop03

https://blog.csdn.net/qq_41931797/article/details/102800860