hadoop的环境搭建
1:创建用户hadoop
2:修改hadoop用户的权限命令visudo 添加 hadoop all all 语句;
3:关闭防火墙service iptables stop
4:修改主机名 : hostname hadoop01
5:映射主机 vim /etc/hosts 加上一条语句格式 ip地址+主机名 192.168.46.128 hadoop01
验证是否成功命令 ping hadoop 如果有反应及成功了
6:创建目录
在opt目录下创建app 和 soft 目录
soft用来存放安装包
app放应用程序的
如下所示:目录的结构
7:jdk的环境配置与安装,这里xshell的连接,详细的介绍有https://blog.csdn.net/weixin_43319279/article/details/101771159
上传文件的软件是xshell5
xshell5的使用方法是安装完成后
配置主机名和IP地址就可以进行连接
在linux中下载yum -y install lrzsz
执行rz命令进行选择传输的win上的文件
8:把jdk-8u181-linux-x64.tar.gz
hadoop-1.2.1.tar.gz
两个文件上传到soft中
切换用户 su - hadoop01
通过命令
sudo tar -xf jdk-8u181.tar.gz -C /opt/app
进入opt/app/jdk-1.8.1;pwd一下保存路径
vim /etc/profile加上两条语句
export JAVA_HOME=/opt/app/jdk-1.8.1
export PATH=$JAVA_HOME/bin:$PATH
在重新启动source /etc/profile
输入命令java -version
命令查看该配置是否成功;如果输出了jdk的版本说明配置成功了
hadoop的配置及验证
sudo tar -xf hadoop1-2-1.tar.gz -C /opt/app
把 hadoop解压到目录 opt/app中
修改配置
cd /opt/app/hadoop.1-2-1/etc/hadoop
在修改配置之前我们要更改用户组和用户的权限命令
sudo chown -R hadoop:hadoop /opt/app/hadoop1-2.1
1:配置hadoop-env.sh
在#the java implementation to use
加上一条语句
export JAVA_HOME=/opt/app/jdk-1.8.1
即可
2:vim core-site.xml
在加入如下所示
<configuration>
<property>
<name>
fs.defaultFS
</name>
<value>
hdfs://hadoop01:8020:hdfs://主机名:端口号9000:8020</value>
</configuration>
3:vim hdfs-site.xml
<configuration>
<property>
<name>
dfs.replication
</name>
<value>
1
</value>
</configuration>
4:vim mapred-site.xml.template
<configuration>
<property>
<name>
mapreduce.framework.name
</name>
<value>
yarn
</value>
</configuration>
5:vim yarn-site.xml
<configuration>
<property>
<name>
yarn.nodemanager.aux-services
</name>
<value>
mapreduces_shuffle
</value>
</configuration>
5:设置完成后进行初始化
bin/hadoop namenode -format
6:开启namenode
sbin/hadoop-daemon.sh start namenode
7:开启datanode
sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start resourcemager
sbin/yarn-daemon.sh start nodemanager
jps看hadoop的服务是否启动起来了。
10:hadoop外部访问网址
ip:50070
ip:8020
11:hadoop的小应用(wordcount)统计文本中单词的次数
vim b.txt
上传
bin/hdfs dfs -put b.txt /b.txt
bin/hadoop jar share/hadoop/mapreduece/hadoop-mapreduce-examples-2.7.1.jar wordcount /b.txt /output
bin/hdfs dfs -ls /output
bin/hdfs dfs -text /output/part*
hadoop是一个框架
hadoop生态圈的介绍
1:HDFS:分布式文件存储系统
namenode:存放文件的元数据(元数据是:文件创建的时间,文件的权限,等,,,)
datanode:存放文件的真正数据
hdfs中是以块的方式进行存储的,每个块的大小为128mb
2:mapreduce:并行的分布式
map:并行传输数据
reduce:统计每个并行数据的结果进行整合
3:yarn:hadoop1.0是没有yarn框架的
yarn是负责资源的有点像是电脑的内存负责资源的调度
resourcemanager:统计并管理多单台的结果。进行调度
nodemanager:单台电脑的资源管理
hadoop用在分析大量的数据,并行处理传输数据
把数据进行分隔成多份数据,hadoop有较高的容错性,它把数据分三份进行存储在不同的电脑上。