大数据安装hadoop

大数据简介

分布式
	由分布在不同主机上的进程(程序)协同子啊一起才能构成整个应用。
	Browser/web server:瘦客户端程序.
大数据4V特征
	1．Volumn 	: 	体量大
	2．Velocity 	:	速度快
	3．Variaty 	: 	样式多
	4．Value		:	价值密度低
Hadoop概念：
	可靠的、可伸缩的、分布式计算的开源软件.
	是一个框架、允许跨越计算机集群的大数据集处理，使用简单的编程模型（MapReduce）。
	可从单个服务器扩展到几千台主机，每个节点提供了计算和存储的功能。而不是依赖高可用性的机器
	依赖于应用层面上的实现，
Hadoop 模块
	1.hadoop common 	公共类库
	2.HDFS hadoop		分布式文件系统
	3.Hadoop Yarn 		作业调度和资源管理框架
	4.Hadoop MapReduce 	基于yarn系统的大数据集并行处理技术
MapReduce 工作原理：

Hadoop安装

主机配置

1、配置主机名

2、添加互信

3、生成密钥

4、远程登录

hadoop配置

1、解压hadoop压缩包

2、Hadoop环境变量配置

export HADOOP_HOME=/opt/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_INSTALL=$HADOOP_HOME
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

3、配置Hadoop  ./etc/hadoop目录下的文件
 （一）配置hadoop-env.sh文件

 （二）配置core-site.xml文件