- 博客(3)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Flume+Kafka双剑合璧玩转大数据平台日志采集
Flume+Kafka双剑合璧玩转大数据平台日志采集大数据平台每天会产生大量的日志，处理这些日志需要特定的日志系统。一般而言，这些系统需要具有以下特征：构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统；具有高可扩展性。即：当数据量增加时，可以通过增加节点进行水平扩展。为此建议将日志采集分析系统分为如下几个模块：数据采集模块：负责从各节点上实时采集数据，建议选用Flume-NG来实现。数据接入模块：由于采集数据的速度和数据处理
2020-12-10 16:54:49
272
原创 hive的优化
分类: Hive系列undefined概述1.1 hive的特征：可以通过SQL轻松访问数据的工具，从而实现数据仓库任务，如提取/转换/加载（ETL），报告和数据分析；它可以使已经存储的数据结构化；可以直接访问存储在Apache HDFS或其他数据存储系统（如Apache HBase）中的文件；Hive除了支持MapReduce计算引擎，还支持Spark和Tez这两种分布式计算引擎；它提供类似sql的查询语句HiveQL对数据进行分析处理；数据的存储格式有多种，比如数据源是二进制格式，普
2020-12-02 11:55:14
280
原创 数据集市与数据仓库的区别
1.什么是数据集市？数据集市与数据仓库的区别？ 数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的( Integrate )、相对稳定的(Non -Volatile )、反映历史变化( Time Variant)的数据集合用于支持管理决策。对于数据仓库的概念我们可以从两个层次予以理解,首先,数据仓库用于支持决策,面向分析型数据处理,它不同于企业现有的操作型数据库;其次,数据仓库是对多个异构的数据源有效集成,集成后按照主题进行了重...
2020-12-01 08:38:41
11533
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人