- 博客(11)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Kafka介绍
目录 1 Kafka概述 2 Kafka基本架构 3 基本原理 4 Kafka核心组件 4.1 Replications、Partitions 和Leaders 4.2 Producer 4.3 Consumer 5 Kafka主要配置 5.1 Broker配置 5.2 Producer配置 6 Kafka部署 6.1 准备工作 6.2 安装Kafka 6.3 启动并测...
2019-08-26 19:27:23
285
原创 Flume介绍
Flume 目录 Flume 1 Flume概述 2 Flume的核心结构 2.1 Source 2.2 Channel 2.3 Sink 3 Flume拦截器、数据流 3.1 Flume拦截器 3.2 Flume数据流 4 Flume实例 4.1 单个Flume 4.2 Flume集群 5 小结 Flume是由Cloudera软件公司提供的一个高可用的，高可靠的，分...
2019-01-24 20:28:45
757
原创 大数据概述
大数据集群是包含数据传输、存储、查询、分析等功能的数据平台。其实我们的大数据集群依赖各个大数据组件，例如，传输功能依赖于kafka集群；存储依赖于Hbase、Elasticsearch；查询依赖于SparkSQL、Hbase、Elasticsearch；分析以及任务依赖于Spark、hadoop。本文将从数据采集、消息队列、数据存储、数据分析四个方面对相关组件做介绍，使各位初步了解大...
2019-01-24 20:28:34
975
原创 Hbase介绍
目录 1 Hbase数据模型 2 Hbase架构 3 Hbase存储及WAL机制 3.1 Hbase存储 3.2 WAL机制 4 RegionServer的故障恢复 5 Hbase特点介绍 6 Hbase 部署 7 HBase开发代码实例 7.1 Maven依赖 7.2 批量插入数据 7.3 读取一行数据 7.4 读取多行数据 7.5 过滤查询 7.6 删除多行数据 ...
2019-01-24 20:28:23
426
原创 Elasticsearch介绍
目录 1 技术综述 1.1 Elasticsearch主要功能 1.2 集群 1.3 文档存储 1.4 搜索 1.5 聚合 2 参考文献 3 Elasticsearch部署 4 Elasticsearch代码实例 4.1 Maven依赖 4.2 插入数据 4.3 查询数据 5 性能分析 5.1 论证过程 5.2 结论 6 本章小结 Elasticsearch 是...
2019-01-24 20:28:09
433
原创 HDFS介绍
目录 1 HDFS架构 2 HDFS工作原理 2.1 HDFS文件写入 2.2 HDFS文件读取 2.3 HDFS副本存放策略 3 命令行接口 4 HDFS代码实例 4.1 IOUtils类 4.2 FileSystem类 5 HDFS特点 6 HDFS2.x新特性 6.1 NameNode Federation 6.2 NameNode HA 7 HDFS小结 HD...
2019-01-24 20:27:39
649
原创 Hadoop介绍
目录 1 Hadoop版本对比 2 MapReduce 3 YARN 3.1 YARN简介 3.2 YARN框架及组件 3.3 YARN工作原理 4 Hadoop部署 5 MapReduce实例 5.1 WordCount单词统计 5.2 自定义分区 6 Hadoop生态圈 7 Hadoop小结 Hadoop是一个开源的、可靠地、可扩展的分布式并行计算框架, ，可以为海量...
2019-01-24 20:27:28
405
原创 Hive介绍
目录 1 Hive架构 2 Hive工作原理 3 Hive特点 4 Hive与RDBMS的对比 5 Hive部署 6 Hive数据类型 6.1 列类型 6.2 文字类型 6.3 NULL类型 6.4 复杂类型 7 HQL与代码实例 7.1 创建数据库 7.2 创建表 7.3 加载数据 8 Hive小结 Hive最初是Facebook为了满足对海量社交网络数据的管理和...
2019-01-24 20:27:16
551
原创 Logstash介绍
目录 1 工作原理 1.1 输入 1.2 过滤器 1.3 输出 2 安装Logstash 3 Logstash实例 3.1 过滤器实例 3.2 日志输入实例 4 Logstash小结 5 Flume与Logstash对比 Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地进行存储...
2019-01-24 20:27:03
1530
原创 Flume与Logstash的对比
虽然Flume与Logstash都是常用的日志、数据采集组件，但它们之间还是有些区别的：两者最初的设计目的就不太一样。Flume本身最初设计的目的是为了把数据传入HDFS中（并不是为了采集日志而设计，这和Logstash有根本的区别），所以理所应当侧重于数据的传输，程序员要非常清楚整个数据的路由，并且比Logstash还多了一个可靠性策略，上文中的channel就是用于持久化目的，数据除非确认传输...
2019-01-24 20:26:50
676
1
原创 AOP介绍
面向对象编程（OOP）有一些弊端，当需要为多个不具有继承关系的对象引入同一个公共行为时，例如日志、安全监测等，我们只有在每个对象里引用公共行为，这样程序就产生了大量的重复代码，程序就不便于维护了，所以就有了面向对象编程的补充，即面向方面编程（AOP），AOP所关注的方向是横向的，不同于OOP的纵向。 一 动态AOP Spring是否支持注解的AOP是由一个配置文件控制的，也就是<aop:...
2019-01-21 19:15:49
814
名人名言的文档平面设计
2018-06-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人