hadoop入门1_介绍及单机环境搭建

hadoop入门及介绍

目标：
	1 hadoop的入门
	2 hadoopHDFS
	3 hadoop的MapReduce
	4 hadoop的Yarn
	5 hadoop的优化
	6 hadoop的HA
	7 常见的错误和解决方案

1.1大数据概述

大数据主要解决海量数据的存储和分析的问题

1.1.1大数据概念

大数据主要解决海量数据的存储和分析的问题

1.1.2大数据特点

1 大量
2 高速  
3 多样
4 低价值密度

1.1.3大数据应用场景

1 物流仓储
2 零售
3 旅游
4 商品广告推荐
5 保险
6 金融 防范风险，风控
7 房地产
8 人工智能

1.1.4大数据发展前景

国家重点发展，前途不可限量

1.1.5大数据业务流程

1.1.6大数据部门组织架构

2.1hadoop生态

2.1.1hadoop的发展历史及版本

2.1.2hadoop的优势

1 高可靠性
2 高扩展
3 高容错
4 高效性

2.1.3hadoop的组成

2.1.4HDFS的架构

1 NameNode（nn）:是HDFS的大哥，管理所有存储的真实数据的元数据信息（文件名，文件大小，创建时间等）
2 DataNode（nn）:是HDFS的小弟，存储真实的数据，以块为单位，默认128M,比如一个200M的文件，会存2块 ，一块128M，一块72M
3 SecondaryNameNode(2nn)：是NameNode的秘书，辅助NameNode干活，分担NameNode的工作，减少NameNode的压力

2.1.5Yarn的架构

1 Resource Manager（rm）：是Yarn的大哥，管理和分配集群中所有的资源（来自每个机器的资源）
2 Node Manager（nm）：是Yarn的小弟，管理所在机器的资源
3 Application Master（am）：每个Job对应一个Application Master，主要负责Job的执行过程（资源申请，监控，容错等）
4 container：对资源的抽象封装，防止资源被侵占

2.1.6MapReduce的思想

思想：先分再合，分：map，合：reduce

3.1 hadoop的生态体系

3.1.1搭建开发环境

1 单台 配置： 内存2G 后续可能要4G，磁盘大小50G
2 准备一台模板虚拟机，后续克隆就好
3 准备初始化安装
1）sudo yum install -y epel-release
2）sudo yum install -y psmisc nc net-tools rsync vim lrzsz ntp	libzstd openssl-static tree iotop
3) 关闭防火墙
查看防火墙：systemctl status firewalld
关闭：systemctl disable firewalld
再次查看：systemctl is-enabled firewalld  显示disabled  表明关闭成功
4 将atguigu这个账号配置临时root权限
1）vim /etc/sudoers
2) 配置atguigu 用户的临时权限 

2、在/opt目录下创建文件夹
（1）在/opt目录下创建module、software文件夹

	sudo mkdir module
	sudo mkdir software

（2）修改module、software文件夹的所有者

sudo chown atguigu:atguigu /opt/module /opt/software

3、安装JDK

将JDK安装包上传到Linux /opt/software目录下
解压JDK到/opt/module目录下
tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

配置JDK环境变量,两种方式:

第一种:

（2）保存后退出 :wq

（3）重启xshell窗口，让环境变量生效

测试JDK是否安装成功

java -version

如果能看到以下结果、则Java正常安装

java version “1.8.0_212”

注意：重启（如果java -version可以用就不用重启）

sudo reboot

4、安装Hadoop

Hadoop下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/

将hadoop安装包上传到/opt/software目录下

解压安装文件到/opt/module下面

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

查看是否解压成功

ls /opt/module/

将Hadoop添加到环境变量

（1）获取Hadoop安装路径 pwd
（2）打开/etc/profile文件   ./profile.d

sudo vim /etc/profile

在profile文件末尾添加：（shitf+g）或者添加到my_env.sh 中

保存后退出:wq

（4）让修改后的文件生效

source /etc/profile

（5) 测试是否安装成功

hadoop version

（6) 重启(如果Hadoop命令不能用再重启)

sync
或者
sudo reboot

5、Hadoop重要目录

（1）bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本

（2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件

（3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）

（4）sbin目录：存放启动或停止Hadoop相关服务的脚本

（5）share目录：存放Hadoop的依赖jar包、文档、和官方案例