Hadoop
沙滩上的漫步者
我见青山多妩媚,料青山见我当如是
展开
-
MapReduce和yarn的联系
MapReduce和yarn1.Mapreduce是什么?Mapreduce是一个分布式运算程序的编程框架,是用户开发“基于hadoop的数据分析应用”的核心框架;Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个hadoop集群上;inputFormat:MapReduce框架使用InputFormat模块做Map前的预处...原创 2019-03-17 21:06:28 · 2468 阅读 · 0 评论 -
Hadoop--Hdfs
Big Data 大数据1. 数据采集(多个数据源)2. 数据存储(分布式存储)3. 数据分析(并行计算)Hadoop**apache软件基金会的开源项目 提供了大数据集的存储和大数据集的并行计算模型**Apache Hadoop(http://hadoop.apache.org/)是⼀一款框架,允许使⽤用简单的编程模 型跨计算机集群分布式处理理⼤大型数据集。Hadoop开源免费...原创 2019-03-17 21:18:24 · 386 阅读 · 0 评论 -
Hadoop---MapReduce
MapReduce一、什么是MapReduce---- 并行计算框架模型Hadoop MapReduce是一个软件框架,基于该框架能够容易易地编写应⽤用程序,这些应用程序能够运行在由上千个商⽤用机器器组成的⼤大集群上,并以一种可靠的,具有容错能⼒力力的⽅方式并⾏行行地处理理上TB级别的海量数据集。这个定义里面有着这些关键词:一是软件框架,二是并行处理,三是可靠且容错,四是大规模集群,五是海...原创 2019-03-17 21:20:44 · 848 阅读 · 0 评论 -
Hadoop-HA 高可用集群
Hadoop HA高可用集群一、HA集群HDFS HA集群 master\slaveYARN HA集群 master\slaveHA(High Available), 高可用性群集,是保证业务连续性的有效解决方案,避免了因为单点故障带来的风险,一般有两个或两个以上的节点,且分为活动节点及备用节点。通常把正在执行业务的称为活动节点,而作为活动节点的一个备份的则称为备用节点,各节点之间会传...原创 2019-03-18 22:14:54 · 426 阅读 · 0 评论 -
HBase基础使用02和MapReduce集成
HBase02HBase和MapReduce集成Maven依赖<!-- hadoop-hdhf所需依赖--> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</...原创 2019-03-22 16:22:17 · 273 阅读 · 0 评论 -
HBase基础使用03-HA集群搭建
HBase集群集群架构图HBase架构篇HBase架构组成HBase采用Master/Slave架构搭建集群,它隶属于Hadoop生态系统,由一下类型节点组成: HMaster 节点、HRegionServer 节点、 ZooKeeper 集群,而在底层,它将数据存储于HDFS中,因而涉及到HDFS的NameNode、DataNode等,总体结构如下:ZooKeeper集群用于:...原创 2019-03-22 16:26:43 · 255 阅读 · 0 评论 -
kafka基础篇使用01
Kafka一、官网https://kafka.apache.org/intro一、概述Apache Kafka是一个分布式流处理平台具备以下三种特性:发布和订阅流式记录。类似于消息队列或者企业消息系统存储流式数据,并且有较好的容错流式数据处理应用场景:构造实时流数据管道,可以在系统或应用之间可靠的获取数据。(相当于MQ)构建实时流式应用程序,对这些流数据进行转换或者影响...原创 2019-03-22 18:04:37 · 539 阅读 · 0 评论 -
Flum基础实战
Flume 架构实战Flume是什么Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。当前Flume有两个版本Flume 0.9X版本的统称Flume-og,Flume1.X版本的统称Flume-ng。由于Fl...原创 2019-03-27 22:43:21 · 2393 阅读 · 0 评论 -
基于Hadoop生态体系搭建数据分析平台
基于Hadoop生态体系的数据分析平台一、项目设计架构图设计目标分析系统每日访问量PV(Page View)分析系统各个模块访问量MV(Model View)二、环境搭建安装Nginx并配置日志切割#安装gcc基本环境yum install gcc-c++ perl-devel pcre-devel openssl-devel zlib-devel wget#解压...原创 2019-03-27 22:45:54 · 872 阅读 · 0 评论