大数据学习第一课之安装hadoop配置环境变量与java与集群以及免密登录

在linux下解压：添加链接描述

解压代码为：tar -zxvf jdk-8u172-linux-x64.tar.gz
解压存在为当前的路径

改主机名：vi /etc/sysconfig/network

改映射文件完成地址****主机名映射：vi /etc/hosts

检查并生效看是否配置成功：

关闭防火墙，这样重启会再启动。

连接上一步关闭防火墙，这样重启不会再启动。

创建和删除文件夹目录

jdk解压并复制到制定位置：

装完jdk看是否能够执行，再进去修改etc/profile文件，再source /etc/pofile生效。
到这里java就是已经按转好了。

接下来就是hadoop，先把hadoop放在更目录下。然后执行（执行步骤和安装java一样，放在/usr/local/apps即可）：

接下来解析这个hadoop（有三大组建，一个是yarn，一个是hdfs，两个是管理框架。而mapreduce是编程框架，需要yarn作为平台进行计算，也需要文件hdfs的管理支持获取数据。）：
首先进去，就是bin目录；他是一些可执行文件；
etc就是一些hadoop配置文件（重要）；
Sbin就是一些系统管理启动的命令（重要）；
Include lib libexec 就是一些包，准确来说就是一些第三方的包；
Share是一些有maven打包好的东西，里面好有个webapps（位置在share的下一层Hadoop里）的结构，说明他可以由网业访问；
主要展示一些sbin管理命令（由./+名称执行）：

到etc下hadoop-evn.sh里面修改java路径，让hadoop知道使用那个java


接下来修改一些hadoop运行的公共的配置(也就是以下的core-site.xml文件)：

<configuration>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://hadoop-server-00:9020</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>file:/usr/local/apps/hadoop-2.6.5/tmp</value>
</property>
</configuration>

参数详细解析：fs.defuaultFS是说hadoop文件系统默认用的那一钟文件系统；
hadoop.tem.dir是hadoop工作时产生的文件，工作的数据存放的位置；

然后改hdfs.site.xml这个文件：

<configuration>
<property>
 <name>dfs.replication</name>
 <value>3</value>
</property>
</configuration>

就是说你的数据要备份的数量，先设为1吧，毕竟才一台机器。
然后对mapreduce进行配置（先把名字改掉，不然文件不起作用）；

因为就是mapruduce是计算框架，没有环境，给它一个运行平台yarn
接下来就要配置yarn的文件vi yarn-site.xml（接上一步供mr运行）讲了主节点是什么即resourcenamager.hostnanme制定的那个值，而下面的nodenamager是他mr的操作原理配置；

<configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop-server-00</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
首先格式化，格式化
hadoop下的/sbin下的命令hadoop-deamon.sh是守护进程。用来开启namenode，datanode，secondarynamenode等进程（手动开启）

接下来手动启动yarn进程：
也是在/sbin中：
进程为resourcenamager，nodenamager
指令为：./yarn-daemon.sh start resourcenamager
./yarn-daemon.sh start nodemanager

全部一次性启动hdfs服务进程：
指令： ./start-dfs.sh

下面就是讲解如何生成密钥对，让机器免密登陆： ssh-keygen

接下来就是看你登陆到哪里去：后面跟的是你的主机名（这里是因为在/etc/hosts里面有过描写，就可以直接用主机名，不然就是要用ip地址）
指令·： ssh-copy-id hadoop-server-00

在这里插入代码片