- 博客(5)
- 收藏
- 关注
原创 hadoop框架之MapReduce介绍
MapReduce简单介绍 MapReduce是一个分布式的计算框架,核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算框架,并发运行在hadoop集群上。引入MapReduce框架后,开发人员可以将绝大部分的工作集中于业务逻辑上的开发,具体的计算只需要交给框架就可以。用于处理海量的数据分析计算工作,但目前因为性能问题,正在被spark替代。MapReduc...
2018-09-16 11:49:39 1192
原创 HA高可用集群详细搭建过程及配置文件简介(附带各种组件的安装配置)
配置网络保证可以ping通外网,关闭防火墙,然后用xshell来操作//配置的ip、网关等信息vim /etc/sysconfig/network-scripts/ifcfg-eth0 //网卡 DEVICE=eth0 //是否开机启动 ONBOOT=yes //ip地址 IPADDR=192.168.0.100 //子网掩码 NETMASK=255.255.255.0...
2018-09-29 23:51:31 1160
原创 hadoop框架之hdfs、MapReduce、yarn的整体大致流程
各个框架之间的关系hdfs是负责存储数据文件的,MapReduce是负责文件的分析计算,而yarn是负责管理资源的,即整个MapReduce阶段map任务和reduce任务运行所需要的资源。这是这三者之间的关系。首先文件会上传至hdfs上,这是hdfs阶段,具体就是每份文件都会被切分成默认大小为128M的block块,然后每个block块默认会被存储在三个不同的datanode上,即拥有三个...
2018-09-20 23:00:48 929
原创 hadoop框架之zookeeper
zookeeper介绍zookeeper是一个分布式协调服务系统,为用户的分布式应用程序提供协调服务,所提供的服务有多个,比如主从协调,服务器节点动态上下线,同步服务等。从设计模式来讲,这其实是一个基于监听者模式的设计。zookeeper=文件系统+通知机制(配置数据存储在系统中,当该数据发生变化时,触发监听机制)zookeeper的主要作用是:减轻为分布式应用开发协调服务的负担zoo...
2018-09-17 23:21:23 737
原创 hadoop框架之HDFS介绍
hdfs介绍 hdfs是一个文件系统,用于存储文件,通过目录树来定位文件,是分布式的,可以对文件或文件夹进行上传、删除、下载、文件夹可以创建,但不能进行修改、文件不能进行创建。适合一次写入,多次读出的场景,所以适合做数据分析。组成 hdfs:包含namenode、datanode、secondary namenode三部分。 namenode:负责管理整个文件系统的...
2018-09-15 18:05:32 263
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人