- 博客(11)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Kafka介绍
目录1 Kafka概述2 Kafka基本架构3 基本原理4 Kafka核心组件4.1 Replications、Partitions 和Leaders4.2 Producer4.3 Consumer5 Kafka主要配置5.1 Broker配置5.2 Producer配置6 Kafka部署6.1 准备工作6.2 安装Kafka6.3 启动并测...
2019-08-26 19:27:23
153
原创 Flume介绍
Flume目录Flume1 Flume概述2 Flume的核心结构2.1 Source2.2 Channel2.3 Sink3 Flume拦截器、数据流3.1 Flume拦截器3.2 Flume数据流4 Flume实例4.1 单个Flume4.2 Flume集群5 小结Flume是由Cloudera软件公司提供的一个高可用的，高可靠的，分...
2019-01-24 20:28:45
617
原创 大数据概述
大数据集群是包含数据传输、存储、查询、分析等功能的数据平台。其实我们的大数据集群依赖各个大数据组件，例如，传输功能依赖于kafka集群；存储依赖于Hbase、Elasticsearch；查询依赖于SparkSQL、Hbase、Elasticsearch；分析以及任务依赖于Spark、hadoop。本文将从数据采集、消息队列、数据存储、数据分析四个方面对相关组件做介绍，使各位初步了解大...
2019-01-24 20:28:34
702
原创 Hbase介绍
目录1 Hbase数据模型2 Hbase架构3 Hbase存储及WAL机制3.1 Hbase存储3.2 WAL机制4 RegionServer的故障恢复5 Hbase特点介绍6 Hbase 部署7 HBase开发代码实例7.1 Maven依赖7.2 批量插入数据7.3 读取一行数据7.4 读取多行数据7.5 过滤查询7.6 删除多行数据...
2019-01-24 20:28:23
304
原创 Elasticsearch介绍
目录1 技术综述1.1 Elasticsearch主要功能1.2 集群1.3 文档存储1.4 搜索1.5 聚合2 参考文献3 Elasticsearch部署4 Elasticsearch代码实例4.1 Maven依赖4.2 插入数据4.3 查询数据5 性能分析5.1 论证过程5.2 结论6 本章小结Elasticsearch 是...
2019-01-24 20:28:09
334
原创 HDFS介绍
目录1 HDFS架构2 HDFS工作原理2.1 HDFS文件写入2.2 HDFS文件读取2.3 HDFS副本存放策略3 命令行接口4 HDFS代码实例4.1 IOUtils类4.2 FileSystem类5 HDFS特点6 HDFS2.x新特性6.1 NameNode Federation6.2 NameNode HA7 HDFS小结HD...
2019-01-24 20:27:39
500
原创 Hadoop介绍
目录1 Hadoop版本对比2 MapReduce3 YARN3.1 YARN简介3.2 YARN框架及组件3.3 YARN工作原理4 Hadoop部署5 MapReduce实例5.1 WordCount单词统计5.2 自定义分区6 Hadoop生态圈7 Hadoop小结Hadoop是一个开源的、可靠地、可扩展的分布式并行计算框架, ，可以为海量...
2019-01-24 20:27:28
262
原创 Hive介绍
目录1 Hive架构2 Hive工作原理3 Hive特点4 Hive与RDBMS的对比5 Hive部署6 Hive数据类型6.1 列类型6.2 文字类型6.3 NULL类型6.4 复杂类型7 HQL与代码实例7.1 创建数据库7.2 创建表7.3 加载数据8 Hive小结Hive最初是Facebook为了满足对海量社交网络数据的管理和...
2019-01-24 20:27:16
431
原创 Logstash介绍
目录1 工作原理1.1 输入1.2 过滤器1.3 输出2 安装Logstash3 Logstash实例3.1 过滤器实例3.2 日志输入实例4 Logstash小结5 Flume与Logstash对比Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地进行存储...
2019-01-24 20:27:03
1218
原创 Flume与Logstash的对比
虽然Flume与Logstash都是常用的日志、数据采集组件，但它们之间还是有些区别的：两者最初的设计目的就不太一样。Flume本身最初设计的目的是为了把数据传入HDFS中（并不是为了采集日志而设计，这和Logstash有根本的区别），所以理所应当侧重于数据的传输，程序员要非常清楚整个数据的路由，并且比Logstash还多了一个可靠性策略，上文中的channel就是用于持久化目的，数据除非确认传输...
2019-01-24 20:26:50
557
1
原创 AOP介绍
面向对象编程（OOP）有一些弊端，当需要为多个不具有继承关系的对象引入同一个公共行为时，例如日志、安全监测等，我们只有在每个对象里引用公共行为，这样程序就产生了大量的重复代码，程序就不便于维护了，所以就有了面向对象编程的补充，即面向方面编程（AOP），AOP所关注的方向是横向的，不同于OOP的纵向。一 动态AOPSpring是否支持注解的AOP是由一个配置文件控制的，也就是<aop:...
2019-01-21 19:15:49
691
名人名言的文档平面设计
2018-06-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人