hadoop 第二节课笔记

大数据的结构：
结构化数据：关系型数据 如数据库表中的数据
半结构化数据：XML JSON 日志文件中的数据 
非结构化数据：视频，图片，音频，WORD，PDF中的数据

大数据的处理：
数据挖掘：从大量数据中通过算法搜索隐藏于其中的信息。相当于从海水中发现隐藏物产的过程
数据清洗：发现并纠正数据文件中可识别的错误。相当于把物产中的杂草，沙石除掉。
数据分析：对搜集来的信息进行分析，提取出有用的信息。形成结论。相当于对鱼类进行价值分类
数据可视化：将数据用精美、直观的图表展现。相当于将鱼类制作成色香味俱全的菜肴。

Hadoop的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理。

Hadoop的核心组件：
HDFS：分布式文件系统
YARN：运算资源调度系统
MapReduce:分布式运算编程框架

Hadoop的优点：
扩容能力强 
成本低
高效率
可靠性

HDFS中的模型结构：NameNode主节点 SecondaryNameNode备用主节点 DataNode数据节点

免密登录
ssh免密登录：
1.
yum list | grep ssh 搜索ssh的安装软件包
yum -y install openssh-clients.x86_64  安装ssh客户端（每台机器都需要安装）

2.    生成秘钥

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa  生成秘钥对
ssh-copy-id hadoop01   江公钥拷贝给其他的机器（其他的机器需要安装ssh）

================上边是linux的环境准备 下边是hadoop环境配置
1.    都要上传jdk，hadoop安装包到/opt/software下,解压
tar -zxvf hadoop-2.7.1.tar.gz
tar -zxvf jdk-8u60-linux-x64.gz

配置jdk
[root@bogon ~]# cd /opt/software
[root@bogon software]# vi /etc/profile
[root@bogon software]# source /etc/profile
[root@bogon software]# java -version
java version "1.8.0_60"
Java(TM) SE Runtime Environment (build 1.8.0_60-b27)
Java HotSpot(TM) 64-Bit Server VM (build 25.60-b23, mixed mode)

配置hadoop
[root@bogon software]# cd hadoop-2.7.1
[root@bogon hadoop-2.7.1]# cd etc
[root@bogon etc]# cd hadoop
[root@bogon hadoop]# vi hadoop-env.sh
加上JAVA_HOME      /opt/software/jdk1.8.0_60/

[root@bogon hadoop]# vi core-site.xml
3.修改core-site.xml内容
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/hadoop/data</value>
</property>

<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name> <value>hadoop02:50090</value>
</property>

5.     添加从节点
Vi slaves
hadoop01
hadoop02
hadoop03

6.    分发安装包
scp -r /opt/software/hadoop-2.7.1/ hadoop02:/opt/software/
scp -r /opt/software/hadoop-2.7.1/ hadoop03:/opt/software/
scp -r /opt/software/jdk1.8.0_60/ hadoop02:/opt/software/
scp -r /opt/software/jdk1.8.0_60/ hadoop03:/opt/software/
7.    修改02,03机器上vi /etc/profifile文件并配置HADOOP_HOME，JAVA_HOME
export JAVA_HOME=/opt/software/jdk1.8.0_60
export HADOOP_HOME=/opt/software/hadoop-2.7.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:
source /etc/profile

9.start-dfs.sh 开启集群
stop-dfs.sh 停止集群