实时数仓
文章平均质量分 85
HBase、Phoenix、ClickHouse、Flink
小基基o_O
GitHub:https://github.com/AryeYellow
码云:https://gitee.com/arye
展开
-
FlinkCDC部署
FLINK-CDCFlinkCDC原创 2022-12-10 12:48:30 · 2741 阅读 · 1 评论 -
实时数仓Flink生产环境部署+提交作业【步骤】
fastjsonjsonCheckpointorg.apache.hadoopFlinkSQLflink-connector-kafkaflink-table-planner-blinkorg.apache.maven.pluginsmaven-shade-plugin原创 2022-12-08 18:47:28 · 2248 阅读 · 0 评论 -
大数据(5r)ClickHouse客户端
命令行客户端ClickHouse服务的版本号查询clickhouse-client下载方法Python连ClickHouseJava连接ClickHouse原创 2022-11-04 20:32:32 · 2278 阅读 · 0 评论 -
大数据(5p)ClickHouse异于平常SQL的语法
ClickHouse的JOIN逻辑ClickHouse单引号和双引号窗口函数ClickHouse临时表ClickHouse窗口函数原创 2022-10-28 09:31:44 · 1261 阅读 · 0 评论 -
大数据(5q)ClickHouse元数据
ClickHouse常用系统表表(system.tables)列(system.columns)查询表和字段注释原创 2022-10-06 18:24:32 · 1326 阅读 · 0 评论 -
大数据(5o)ClickHouse常用表引擎
合并树家族MergeTree排序键主键分区数据生命周期其它设置ReplacingMergeTreeSummingMergeTree日志家族其它内存引擎表引擎表引擎作用:数据的存储方式和位置支持哪些查询以及如何支持并发数据访问索引的使用(如果存在)是否可以执行多线程请求数据复制参数原创 2022-09-25 00:21:31 · 750 阅读 · 0 评论 -
大数据(5n)ClickHouse常见数据类型
整数、数字越界浮点数十进制小数boolean字符串日期、时间、时间戳日期时间时区时间戳数组原创 2022-09-22 22:44:09 · 739 阅读 · 0 评论 -
大数据(5m)ClickHouse极速入门
列式存储的优势安装ClickHouse:开源的 高效的 列式存储的 OLAP 数据库管理系统支持使用SQL 实时生成分析报告列式存储的优势行式列式OLAP场景下宽表居多,假设从100列的宽表中只取5列,那么I/O将大幅减少(相对与横向方式)列式数据更容易压缩原创 2021-09-01 13:04:51 · 400 阅读 · 0 评论 -
一段时间后,stop-dfs.sh关不掉Hadoop3.1.3集群,stop-hbase.sh关不掉HBase集群
stop-dfs.sh关不掉Hadoop3.1.3集群stop-hbase.sh关不掉HBase集群原创 2022-12-04 10:12:53 · 1235 阅读 · 0 评论 -
大数据(5e)Spark之Scala读写HBase之Phoenix表
Phoenix建表依赖写HBaseConfiguration.create读phoenixTableAsDataFrame原创 2021-08-28 09:59:12 · 786 阅读 · 0 评论 -
大数据(5d)Phoenix
Phoenix简介Phoenix安装Phoenix Shell配置Global IndexesLocal Indexes低延时场景的OLAP用户借助Phoenix,可以使用SQL语法来操作HBaseSecondary Indexing加速查询IntroductionDeployPhoenix ShellSecondary IndexingConfiguration原创 2021-08-20 10:28:13 · 144 阅读 · 0 评论 -
大数据(5c)HBase优化
内存优化允许在HDFS的文件中追加内容优化DataNode允许的最大文件打开数flush、compact、splitHBase客户端缓存HStore文件大小RPC监听数量数据的写入效率hbase关不掉hmaster关不掉原创 2021-08-19 17:35:51 · 121 阅读 · 0 评论 -
大数据(5b)HBase架构、读写流程、分区
文章目录StoreFile保存实际数据的物理文件,StoreFile以HFile的形式存储在HDFS上每个Store有多个StoreFile(HFile)每个StoreFile中的数据是有序的原创 2021-08-17 11:59:44 · 206 阅读 · 0 评论 -
大数据(5a)HBase入门:安装、读写、架构、数据视图、数据模型
HBase集群部署1、依赖2、上传HBase、解压、改名3、配置文件3.1、hbase-env.sh3.2、hbase-site.xml3.3、regionservers3.4、backup-masters【高可用】4、解决日志冲突5、文件分发6、启停命令7、浏览器访问基本命令补充Data Model配置文件Hbase简介HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库数据存储在HDFS物理存储结构【Key-Value】型,就像一个多维Map原创 2021-02-13 21:49:58 · 465 阅读 · 0 评论