hadoop
大数据技术之路---花火
这个作者很懒,什么都没留下…
展开
-
第一章、flume的介绍及原理
1. flume的背景 flume是由cloudera软件公司产出的可分布式日志收集系统,后与2009年被捐赠了apache软件基金会,为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出,特别是flume-ng;同时flume内部的各种组件不断丰富,用户在开发的过程中使用的便利性得到很大的改善,现已成为apache top项目之一. 2.原创 2017-07-26 21:09:11 · 537 阅读 · 0 评论 -
hbase学习教程(一):hbase的概述和hbase架构及基本组件
一、hbase的概述概述HBase是一个构建在HDFS上的分布式列存储系统; HBase是基于Google BigTable模型开发的,典型的key/value系统; HBase是Apache Hadoop生态系统中的重要一员,主要用于海量结构化数据存储; 从逻辑上讲,HBase将数据按照表、行和列进行存储。 与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服务器,原创 2017-09-28 23:12:30 · 8406 阅读 · 1 评论 -
hive学习教程(五):hive和Hbase整合
一、Hive整合HBase原理Hive与HBase整合的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive-hbase-handler-0.9.0.jar工具类,如下图 Hive与HBase通信示意图 二、具体步骤安装前说明 1、关于hadoop、HBase、Hive集群的搭建,请参考本人博文“基于Hadoop的数据分析综合管理平台之Hadoop、HBase完全分布原创 2017-08-29 20:07:15 · 620 阅读 · 0 评论 -
hive学习教程(三):hive的详细配置
六、hive的配置详解hive的配置:hive.ddl.output.format:hive的ddl语句的输出格式,默认是text,纯文本,还有json格式,这个是0.90以后才出的新配置;hive.exec.script.wrapper:hive调用脚本时的包装器,默认是null,如果设置为python的话,那么在做脚本调用操作时语句会变为python原创 2017-08-29 19:55:36 · 361 阅读 · 0 评论 -
hive学习教程(二):hive的数据类型和hive的数据模型
四、hive的数据类型Hive支持两种数据类型,一类叫原子数据类型,一类叫复杂数据类型。 原子数据类型包括数值型、布尔型和字符串类型,具体如下表所示: 基本数据类型 类型 描述 示例 TINYINT 1个字节(8位)有符原创 2017-08-29 19:54:40 · 464 阅读 · 0 评论 -
Hive学习教程(一):hive的介绍和hive技术架构
一、hive的介绍1.hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。2.Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了原创 2017-08-29 19:47:49 · 657 阅读 · 0 评论 -
hadoop分布集群搭建
主机名 IP Itcast 132 namenode zkfc Itcast02 138 datanode nodemanager zookeeper journalenode itcast03 130 datanode nodemanager zookeeper journalenode Itcast04 139原创 2017-08-28 22:45:14 · 553 阅读 · 0 评论 -
hadoop伪分布式集群搭建
1.准备Linux环境 1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.1.0 子网掩码:255.255.255.0 -> apply -> ok 回到windows –> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1原创 2017-08-28 22:33:09 · 306 阅读 · 0 评论 -
storm教程(六):Storm 和kafka的集成
我们知道storm的作用主要是进行流式计算,对于源源不断的均匀数据流流入处理是非常有效的,而现实生活中大部分场景并不是均匀的数据流,而是时而多时而少的数据流入,这种情况下显然用批量处理是不合适的,如果使用storm做实时计算的话可能因为数据拥堵而导致服务器挂掉,应对这种情况,使用kafka作为消息队列是非常合适的选择,kafka可以将不均匀的数据转换成均匀的消息流,从而和storm比较完善的结合,这原创 2017-08-27 23:51:15 · 2517 阅读 · 0 评论 -
storm教程(五):storm消息的可靠性保障与acker机制、Thrift client 集群监控
消息的可靠性保障与acker机制Storm 能够保证每一个由 Spout 发送的消息都能够得到完整地处理。本文详细解释了 Storm 如何实现这种保障机制,以及作为用户如何使用好 Storm 的可靠性机制。 消息的“完整性处理”是什么意思 一个从 spout 中发送出的 tuple 会产生上千个基于它创建的 tuples。例如,有这样一个 word-count 拓扑:TopologyBuilde原创 2017-08-27 23:19:10 · 1673 阅读 · 1 评论 -
storm教程(四):storm策略和storm并行度
storm策略storm里面有6种类型的stream grouping: 1.Shuffle Grouping: 随机分组, 随机派发stream里面的tuple, 保证每个bolt接收到的tuple数目相同。轮询,平均分配。 2. Fields Grouping:按字段分组, 比如按userid来分组, 具有同样userid的tuple会被分到相同的Bolts, 而不同的userid则会被分配原创 2017-08-27 22:58:10 · 4919 阅读 · 0 评论 -
storm教程(三):用Java开发storm
1、操作模式开始之前,有必要了解一下Storm的操作模式。有下面两种方式。 本地模式 在本地模式下,Storm拓扑结构运行在本地计算机的单一JVM进程上。这个模式用于开发、测试以及调试,因为这是观察所有组件如何协同工作的最简单方法。在这种模式下,我们可以调整参数,观察我们的拓扑结构如何在不同的Storm配置环境下运行。要在本地模式下运行,我们要下载Storm开发依赖,以便用来开发并测试我们的拓扑原创 2017-08-27 22:47:45 · 16830 阅读 · 1 评论 -
storm教程(二):Storm Topology组件和Storm数据源和输出选择
Storm Topology组件前面的章节已经提到过,Storm集群中的任务称之为Topology。 对比Hadoop中的MapReduce job,mapper用于从数据源中获取数据,经过简单处理,以一定的格式传递给reducer,reducer负责后续处理。 类似的,Topology任务也要从数据源中获取数据,然后进行后续处理。在Topology中从外部数据源获取数据的组件,称之为Spout原创 2017-08-27 22:14:20 · 4230 阅读 · 0 评论 -
storm教程(一):storm基本概念和集群架构
一、storm 基本概念 对比Hadoop的批处理,Storm是个实时的、分布式以及具备高容错的计算系统。同Hadoop一样Storm也可以处理大批量的数据,然而Storm在保证高可靠性的前提下还可以让处理进行的更加实时;也就是说,所有的信息都会被处理。Storm同样还具备容错和分布计算这些特性,这就让Storm可以扩展到不同的机器上进行大批量的数据处理。他同样还有以下的这些特性:原创 2017-08-27 22:08:33 · 1879 阅读 · 0 评论 -
第二章、flume的安装
1、去官网上下载安装包 下载地址:http://flume.apache.org/download.html 2、解压安装包 tar -zxvf apache-flume-1.7.0-bin.tar.gz 3、配置环境变量 (1)vim /etc/profile 添加 export FLUME_HOME=/home/flume/apache-flume-1.7.0-bin e原创 2017-07-26 21:56:29 · 269 阅读 · 0 评论 -
hbase学习教程(二):HBase容错性和Hbase使用场景、Hbase读写过程详解
HBase容错性Write-Ahead-Log(WAL) 该机制用于数据的容错和恢复: 每个HRegionServer中都有一个HLog对象,HLog是一个实现Write Ahead Log的类,在每次用户操作写入MemStore的同时,也会写一份数据到HLog文件中(HLog文件格式见后续),HLog文件定期会滚动出新的,并删除旧的文件(已持久化到StoreFile中的数据)。当HRegi原创 2017-09-28 23:39:55 · 4395 阅读 · 0 评论