hadoop伪分布式搭建

最新推荐文章于 2024-06-18 21:36:33 发布

qq_36183913

最新推荐文章于 2024-06-18 21:36:33 发布

阅读量106

点赞数

分类专栏：大数据文章标签： hadoop

本文链接：https://blog.csdn.net/qq_36183913/article/details/89475764

版权

大数据专栏收录该内容

1 篇文章 0 订阅

订阅专栏

Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。
学习方法：
1.多看
看相关大数据书籍和咨询
多上CSDN等相关技术论坛
2.多做
练习付出和收获
3.多想
将学习的内容想通，转换成自己的笔记和语言

虚拟机：
1.硬盘 50G
2.选择桌面
3.分区默认

数据容量：
KB MB GB TB PB ZB YB – 1024

大数据特点4V:
Volume 大，数据体量巨大
Velocity 快，处理速度快
Varcity 繁，数据类型繁多
varecity 价值高

企业大数据来源：
企业内部：
** 日志文件(tomcat/apache/jboss…)
** 数据库(Mysql/Oracle/DB2…)
** 用户行为数据
企业外部：
** 网页爬虫
** 购买第三方数据(数据交换中心)

Google
三篇论文:
GFS 文件系统
MapReduce 计算框架
BigTable 数据存储的

Hadoop:
作者：Doug Cutting
编写语言：java
Apache 开源免费
Cloudare CDH
服务技术支持功能

版本：
	0.2+
	1.0+:    由分布式存储系统HDFS和分布式计算框架MapReduce组成,

HDFS由一个NameNode和多个DataNode组成,
MapReduce由一个JobTracker和多个TaskTracker组成
不足：NameNode 单点故障问题，
2.0+ 2.50(使用)：ResourceManager负责所有应用程序的资源分配，
ApplicationMaster：任务调度管理器
3.0+ 测试

http://hadoop.apache.org/

Hadoop思想来源：
	HDFS			文件系统
	MapReduce	计算框架

大数据 == hadoop hive hbase spark …

hadoop生态系统:

hadoop
** 存储框架
** 分布计算框架

Hadoop四个核心模块:
common
为其他Hadoop模块提供基础设施。
HDFS(Hadoop Distribute FileSystem)
** 由多台服务器组成
** 一个高可靠、高吞吐量的分布式文件系统
MapReduce
** 一个分布式的离线并行计算框架
** Map Reduce
启动相关任务的时候才会产生线程
Map 分析
Reduce 统计
YARN
** Hadoop 2.0+出现的
** Hadoop操作系统，资源管理系统
** 任务调度与资源管理

HDFS(主-从结构)
** NameNode
** 元数据
** DataNode
** 存储数据

YARN
** ResourceManager
** 负责服务器资源调度
** NodeManager
** 执行任务
Map task
Reduce task
MapReducd
** 分为Map和Reduce
Map：处理输入数据
Reduce：对Map处理结果汇总
** shuffe
** 仅适合离线批处理
** 启动开销大，占用磁盘

** HDFS和YARN没有关系
** HDFS提供分布式存储。YARN协同工作

=伪分布模式搭建====
系统环境准备
1.网卡网关设置
编辑文件
# vi /etc/sysconfig/network-scritps/ifcfg-eth0
修改一下内容
ONBOOT=yes #开机启动
192 BOOTPROTO=static #静态IP
IPADDR=192.168.xx.xx #设置IP地址
GATEWAY=192.168.xx.2 #设置网关
NETMASK=255.255.255.0 #子网
DNS1=192.168.xx.2
DNS2=202.2.209.5
# service network restart
2.修改主机名
# vi /etc/sysconfig/network
修改
HOSTNAME=hadoop-senior01.beifeng.com
集群主机命名(不要使用下划线)
hadoop-senior01.beifeng.com
hadoop-senior02.beifeng.com
hadoop-senior03.beifeng.com

3.创建用户
	添加用户
	# useradd beifeng
	修改密码
	# echo 123456 | passwd --stdin beifeng
	
4.防火墙、selinux --> 默认端口 22
	# service iptables stop		#关闭防火墙
	# chkconfig iptables off	#关闭开机启动
	
	修改配置文件
	# vi /etc/sysconfig/selinux
	SELINUX=enforcing
		改成
	SELINUX=disabled
	
5.主机名映射
	修改文件
	# vi /etc/hosts
	在最后加上
	192.168.23.31	hadoop-senior01.beifeng.com
	
	修改本地计算机的hosts文件
	C:\Windows\System32\drivers\etc\hosts
	在本地添加
	192.168.23.31	hadoop-senior01.beifeng.com
	
6.JDK
	先创建工作文件夹
	# mkdir /opt/modules		# 工作目录
	# mkdir /opt/softwares		# 存放软件工具

	修改文件夹权限
	# chown beifeng:beifeng /opt/modules
	# chown beifeng:beifeng /opt/softwares
	
	卸载系统自带JDK
	# rpm -qa | grep -i java	# 查找相关文件
	java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64
	tzdata-java-2012j-1.el6.noarch
	java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64
	#  java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64
	# rpm -e --nodeps tzdata-java-2012j-1.el6.noarch
	# rpm -e --nodeps java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64

	安装JDK
	解压
	# tar zxf jdk-7u67-linux-x64.tar.gz -C /opt/modules/
	配置环境变量
	# vi /etc/profile
	# JAVA_HOME
	export JAVA_HOME=/opt/modules/jdk1.7.0_67
	export PATH=$PATH:$JAVA_HOME/bin
	
	# source /etc/profile

伪分布式搭建
解压：
$ tar zxf hadoop-2.5.0.tar.gz -C /opt/modules/
忽略如下错误
tar: Ignoring unknown extended header keyword SCHILY.dev' ... tar: Ignoring unknown extended header keywordSCHILY.ino’
tar: Ignoring unknown extended header keyword `SCHILY.nlink’

Hadoop配置文件位置：
	hadoop/etc/hadoop/
** 通过Notepad++链接远程FTP
		HostName  主机地址
		Connection Type SFTP
		Username
		password
		Initial remote directory 设置默认链接的远程目录
			  /opt/modules

配置JAVA_HOME路径
	hadoop-env.sh
	mapred-env.sh
	yarn-env.sh
	
配置HDFS文件系统
	NameNode
		
	DataNode

配置core-site.xml
	<!--配置集群入口-->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://hadoop-senior01.beifeng.com:8020</value>
	</property>
	<!--配置数据存放目录-->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/modules/hadoop-2.5.0/data</value>
	</property>
	
配置hdfs-site.xml
	<!--block副本数量-->
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	
指定DataNode
配置文件Slaves
	hadoop-senior01.beifeng.com
	
启动
	** 格式化：
		$ bin/hdfs namenode -format
		
	** Namenode 启动
	$ sbin/hadoop-daemon.sh start namenode
** Datanode 启动
	$ sbin/hadoop-daemon.sh start datanode
    ** 同时启动
		sbin/start-dfs.sh ; sbin/start-yarn.sh
	可以通过jps检查进程
	
	** 创建文件夹
		$ bin/hdfs dfs -mkdir /input
		
	** HDFS文件系统访问地址
	http://hadoop-senior01.beifeng.com:50070/
		
	** 上传文件
	$ bin/hdfs dfs -put tt.txt /input/
	$ bin/hdfs dfs -put 本地文件名 服务器文件夹
		
	** 查看
	$ bin/hdfs dfs -cat /input/tt.txt
		
		
停止：
	停止Namenode
	$ sbin/hadoop-daemon.sh stop namenode
	停止Datanode
	$ sbin/hadoop-daemon.sh stop datanode

配置YARN
mapred-site.xml

mapreduce.framework.name
yarn

yarn-site.xml
<!-- 制定ResourceManager服务器 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop-senior01.beifeng.com</value>
</property>
<!-- 开启MapReduce Shuffe -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

启动：
ResourceManager
	$ sbin/yarn-daemon.sh start resourcemanager
NodeManager
	$ sbin/yarn-daemon.sh start nodemanager

测试：
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount 文件输出路径

$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input /output

查看测是结果
$ bin/hdfs dfs -cat /output/par*

删除文件
$ bin/hdfs dfs -rm -r /input/tt.txt

日志
mapred-site.xml

mapreduce.jobhistory.address
hadoop-senior01.beifeng.com:10020

mapreduce.jobhistory.webapp.address
hadoop-senior01.beifeng.com:19888

yarn-site.xml
<!--  开启日志 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!--  时间 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>86400</value>
</property>

重启Yarn服务
$ sbin/yarn-daemon.sh stop resourcemanager
$ sbin/yarn-daemon.sh stop nodemanager
$ sbin/yarn-daemon.sh start resourcemanager
$ sbin/yarn-daemon.sh start nodemanager

启动日志服务：
$ sbin/mr-jobhistory-daemon.sh stop historyserver

重新跑任务：
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input /output3

解决警告
16/12/09 03:15:31 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
native-2.5.0.tar.gz
解压替换掉
/opt/modules/hadoop-2.5.0/lib/native
命令：
$ tar zxf /opt/softwares/native-2.5.0.tar.gz -C /opt/modules/hadoop-2.5.0/lib/
完成
测试：$ bin/hdfs dfs -put tt.txt /input

qq_36183913

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
hadoop伪分布式搭建

Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区...
复制链接

扫一扫