大数据
文章平均质量分 94
search-lemon
有猫的码农
展开
-
数据湖 | 还不知道什么是Iceberg?一篇文章带你走进Iceberg的世界!
文章目录1. Iceberg是什么?2. 能力与优势2.1 Iceberg都有哪些功能?2.2 Iceberg能力验证3. Iceberg应用场景参考文档近年来“数据湖”的概念在大数据领域如火如荼。delta、Apache Iceberg和Apache Hudi是市面上流行的三大数据湖解决方案,那到底这些方案是什么?又怎么使用?本文参考官网文档,带你快速入门iceberg,并从几个简单的例子出发,感受iceberg的能力。1. Iceberg是什么?Iceberg定位在计算引擎之下,存储之上,通过特定原创 2021-07-15 11:51:24 · 13144 阅读 · 3 评论 -
Druid查询的几种方式
文章目录1. Druid原生查询1.1 原生查询请求格式及示例1.2 Druid查询类型2. Druid SQL查询2.1 Http post2.2 JDBC2.3 Druid SQL所需Druid版本问题Druid支持两种方式查询数据,原生方式和Druid SQL。接下来,本文将讲述这些查询方式该如何使用,并给出相应代码。文章内容主要参考Druid官方文档,先在开头附上Druid官方文档链接。1. Druid原生查询1.1 原生查询请求格式及示例原生查询方式为:请求体为JSON的HTTP请求,请求原创 2020-10-20 16:52:33 · 4305 阅读 · 0 评论 -
【Hbase学习系列】Hbase常用过滤器使用详解
文章目录1. 行键过滤器 —— RowFilter1.1 CompareOperator1.2 ByteArrayComparable1.2.1 RegexStringComparator1.2.2 BinaryPrefixComparator1.2.3 SubstringComparator1.2.4 BinaryComparator1.2.5 BigDecimalComparator1.2.6 BitComparator1.2.7 LongComparator1.2.8 NullComparator2.原创 2020-10-09 16:32:28 · 2333 阅读 · 0 评论 -
【Hbase学习系列】Hbase加载数据 / 写数据入Hbase
文章目录1. Hbase加载单条数据2. Hbase缓存池批量加载数据hbase加载数据,本文主要介绍两种方式,一个为单条数据的加载方式,另一个使用hbase自带缓存池批量加载数据。另外,也可使用hbase shell直接写入数据,参考文章【Hbase学习系列】hbase shell常用命令及使用示例。下面来介绍java版本数据写入hbase的过程。1. Hbase加载单条数据import org.apache.hadoop.conf.Configuration;import org.apache.原创 2020-10-09 15:58:53 · 506 阅读 · 0 评论 -
【Hbase学习系列】hbase shell常用命令及使用示例
文章目录1. hbase shell常用命令2. 命令使用示例1. hbase shell常用命令hbase命令描述list列出Hbase中存在的所有表list ‘表名’确认表是否存在desc ‘表名’(describe ‘表名’)查看表结构和配置scan ‘表名’列出hbase表所有数据get ‘表名’,‘任一rowKey’取出表中随机一行数据truncate ‘表名’清空表create ‘表名’,‘colFamily’创建表,必须原创 2020-09-27 17:23:03 · 1401 阅读 · 0 评论 -
脏数据处理调研
脏数据处理调研1. 脏数据概念2. 常见数据问题3. 常见大数据处理工具异常数据处理策略3.1 kettle(开源)3.2 阿里数据迁移工具DataX(开源)3.3 Informatica5. 总结1. 脏数据概念脏数据(Dirty Read)是指源系统中的数据不在给定的范围内或对于实际业务毫无意义,或是数据格式非法,以及在源系统中存在不规范的编码和含糊的业务逻辑。2. 常见数据问题...原创 2020-04-14 18:38:09 · 947 阅读 · 0 评论