hadoop相关知识点总结

1.hadoop相关知识

a、hadoop是分布式系统基础架构

b、Hadoop具有优势：高可靠性、高扩展性、高效性和高容错性。

c、主要的组件是Hadoop Distributed File System（HDFS）和MapReduce

2、hadoop的安装（linux）

a、官网Apache Hadoop下载

b、将jar包上传hadoop1上并解压

c、配置环境变量后重启环境变量并查看hadoop是否安装完成

代码如下：

#上传包
rz
#解压包
tar -zxvf hadoop(按住TAB键弹出相应信息)
#查看包
ll
#配置环境变量
vim /etc/profile
#重启环境变量
source /etc/profile 或. /etc/profile
#查看是否安装完成
hadoop version

3、修改hadoop配置文件

a、进入到hadoop文件下编辑

b、编辑core-site.xml文件

vi core-site.xml

c、编辑hdfs-site.xml文件

vi hdfs-site.xml

d、编辑yarn-site.xml文件

vi yarn-site.xml

e、编辑mapred-site.xml文件

vi mapred-site.xml

f、编辑hadoop-env.sh文件

vi hadoop-env.sh

g、编辑worker文件

vi worker