- 博客(12)
- 收藏
- 关注
RSS订阅原创 深入理解Atlas
Apache Atlas为组织提供开放式元数据管理和治理功能，用以构建其数据资产目录，对这些资产进行分类和管理，并为数据分析师和数据治理团队，提供围绕这些数据资产的协作功能。Atlas安装分为：集成自带的HBase + Solr；集成外部的HBase + Solr。通常企业开发中选择集成外部的HBase + Solr，方便项目整体进行集成操作。安装Solr5.2.11）Solr版本要求必须...
2020-05-08 13:38:59
1071
原创 深入理解Kylin
Apache Kylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。·Kylin开发团队还贡献了Zepplin的插件，也可以使用Zepplin来访问Kylin服务。安装Kylin前需先部署好Hadoop、Hive、Zookeeper、HBas...
2020-05-08 13:14:32
198
原创 深入理解Hbase
HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关...
2020-05-08 13:06:19
178
原创 深入理解Druid
说起 Druid，大家首先想到的是阿里的 Druid 数据库连接池，而本文介绍的 Druid 是一个在大数据场景下的解决方案，是需要在复杂的海量数据下进行交互式实时数据展现的 BI/OLAP 工具。它有三个特点：处理的数据量规模较大。可以进行数据的实时查询展示。它的查询模式是交互式的，这也说明其查询并发能力有限。imply集成了Druid，提供了Druid从部署到配置到各种可视化工具的完整...
2020-05-08 13:04:44
142
原创 深入理解Presto
进入到/opt/module/presto目录，并创建存储数据文件夹mkdir data进入到/opt/module/presto目录，并创建存储配置文件文件夹mkdir etc配置在/opt/module/presto/etc目录下添加jvm.config配置文件vim jvm.config-server-Xmx16G-XX:+UseG1GC-XX:G1HeapRegionSize=32M-X...
2020-05-08 13:03:43
237
原创 深入理解hive
hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；可以将SQL语句转换为MapReduce任务运行，通过自己的SQL查询分析需要的内容，这套SQL简称Hive SQL，将Mysql的mysql-connector-java-5.1.27-bi...
2020-05-08 13:01:59
196
原创 深入理解Sqoop
Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。进入到/opt/module/sqoop/conf目录，重命名配置文件mv s...
2020-05-07 12:10:25
496
原创 深入理解Kafka
简单说明什么是kafkaApache kafka是消息中间件的一种，我发现很多人不知道消息中间件是什么，在开始学习之前，我这边就先简单的解释一下什么是消息中间件，只是粗略的讲解，目前kafka已经可以做更多的事情。举个例子，生产者消费者，生产者生产鸡蛋，消费者消费鸡蛋，生产者生产一个鸡蛋，消费者就消费一个鸡蛋，假设消费者消费鸡蛋的时候噎住了（系统宕机了），生产者还在生产鸡蛋，那新生产的鸡蛋就丢...
2020-05-07 11:49:24
175
原创 深入理解Flume
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Source:从数据发生器接收数据,并将接收的数据以Flume的event格式传递给一个或者多个通道channel,Flume提供多种数据接收的方式,比如Avr...
2020-05-07 11:22:48
208
原创 深入理解Zookeeper
深入理解Zookeeper在Hadoop中，ZooKeeper主要用于实现HA(Hive Availability），包括HDFS的NamaNode和YARN的ResourceManager的HA。HBase主要用ZooKeeper来实现HMaster选举与主备切换、系统容错、RootRegion管理、Region状态管理和分布式SplitWAL任务管理等。ZooKeeper是一个典型的分布式数...
2020-05-07 10:54:26
115
原创 深入理解hadoop
Hadoop是什么？Hadoop是一个分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）...
2020-05-07 10:15:35
183
原创 AndroidStudio注解处理器无法生成文件
只要创建这三个文件就行
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人