Luffy_captain的博客

个人知识梳理,总结,简单介绍

自定义博客皮肤

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

hadoop框架之MapReduce介绍

MapReduce简单介绍 MapReduce是一个分布式的计算框架,核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算框架,并发运行在hadoop集群上。引入MapReduce框架后,开发人员可以将绝大部分的工作集中于业务逻辑上的开发,具体的计算只需要交给框...

2018-09-16 11:49:39

阅读数 300

评论数 0

flume日志采集框架

简单介绍 flume是一个高可用的,高可靠的,分布式的海量日志采集、聚合、传输系统。 可以采集文件、socket数据包等多种形式源数据,又可以将采集到的数据输出到HDFS、kafka、hive、hbase等存储系统中。 flume是属于生产者和消费者模式,目前不支持高可用,需要编写相应的脚本来...

2018-10-25 23:40:53

阅读数 21

评论数 0

Hadoop项目简单流程及各个组件的作用

今天通过一个简单的小项目给大家将整个hadoop期间的组件做一个小总结。 这个项目按照不同组件的功能,这里把它分为5个部分。 数据采集 ETL 数据分析 数据导出 数据展现 下面我们来一个一个的详细介绍 首先是数据采集: 数据采集有多种方式:可以通过shell脚本、java程序、flume等方式...

2018-10-22 23:13:18

阅读数 303

评论数 0

HA高可用集群详细搭建过程及配置文件简介(附带各种组件的安装配置)

配置网络 保证可以ping通外网,关闭防火墙,然后用xshell来操作 //配置的ip、网关等信息 vim /etc/sysconfig/network-scripts/ifcfg-eth0 //网卡 DEVICE=eth0 //是否开机启动 ONBOOT=yes //ip地址 I...

2018-09-29 23:51:31

阅读数 187

评论数 0

hadoop框架之hdfs、MapReduce、yarn的整体大致流程

各个框架之间的关系 hdfs是负责存储数据文件的,MapReduce是负责文件的分析计算,而yarn是负责管理资源的,即整个MapReduce阶段map任务和reduce任务运行所需要的资源。这是这三者之间的关系。 首先文件会上传至hdfs上,这是hdfs阶段,具体就是每份文件都会被切分成默认大...

2018-09-20 23:00:48

阅读数 104

评论数 0

hadoop框架之zookeeper

zookeeper介绍 zookeeper是一个分布式协调服务系统,为用户的分布式应用程序提供协调服务,所提供的服务有多个,比如主从协调,服务器节点动态上下线,同步服务等。从设计模式来讲,这其实是一个基于监听者模式的设计。 zookeeper=文件系统+通知机制(配置数据存储在系统中,当该数据...

2018-09-17 23:21:23

阅读数 32

评论数 0

hadoop框架之HDFS介绍

hdfs介绍 hdfs是一个文件系统,用于存储文件,通过目录树来定位文件,是分布式的,可以对文件或文件夹进行上传、删除、下载、文件夹可以创建,但不能进行修改、文件不能进行创建。适合一次写入,多次读出的场景,所以适合做数据分析。 组成 hdfs:包含namenode、datanode...

2018-09-15 18:05:32

阅读数 67

评论数 0

提示
确定要删除当前文章?
取消 删除