![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据库
文章平均质量分 78
Answer_Ball
这个作者很懒,什么都没留下…
展开
-
MaxCompute实践之路(三) -- Java对接MaxCompute
一. jdbc方式对接maxcompute创建完成项目后,创建以下类,根据注释,调好对应参数即可import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;public class Main { private static final String DRIVER原创 2021-09-16 20:02:23 · 2303 阅读 · 0 评论 -
MaxCompute实践之路(二) -- 使用操作流程
一. 阿里云MaxCompute使用操作流程官网链接:https://help.aliyun.com/document_detail/27803.html?spm=a2c4g.11186623.6.593.788e7b49SgUG8S根据官网步骤,依次向下执行即可准备工作的基本操作流程如下。1.步骤一:准备阿里云账号创建阿里云账号并实名认证。2.步骤二:(可选)准备RAM用户当需要其他用户协同开发时,需要创建RAM用户并将RAM用户信息转交其他用户3.步骤三:开通MaxCompute开通原创 2021-09-08 18:10:18 · 1405 阅读 · 0 评论 -
MaxCompute实践之路(一) -- 原理简介
一.DataWorksDataWorks是基于MaxCompute计算和存储,提供工作流可视化开发、调度运维托管的一站式海量数据离线加工分析平台。您可以将DataWorks理解为MaxCompute的一种Web客户端,MaxCompute是DataWorks的一种计算引擎。MaxCompute和DataWorks提供完善的ETL、数据分析、数据地图、数据治理和数据仓库管理能力,并支持SQL、MapReduce、Graph等多种经典的分布式计算模型,能够更快速地解决用户海量数据计算问题,有效降低企业成本原创 2021-08-27 18:38:27 · 899 阅读 · 0 评论 -
Clickhouse学习之路(六)-- Java链接clickhouse
clickhouse 有两种 JDBC 驱动实现。官方驱动:<dependency> <groupId>ru.yandex.clickhouse</groupId> <artifactId>clickhouse-jdbc</artifactId> <version>0.1.52</version></dependency>三方提供的驱动:<dependency>原创 2021-08-16 18:59:53 · 3380 阅读 · 1 评论 -
Clickhouse学习之路(五)-- 集群方案研究
方案一:MergeTree + Distributed架构图架构解析:MergeTree + Distributed的分布式架构方案,利用的是Distributed表的特性+MergeTree表的特性,分布式表不存储数据,数据来自本地表,将分布式表的数据分为3个shard,每台节点存储三分之一的数据,用户查询的时候是从分布式表所在的节点聚合从Ck1,CK2,CK3的查询结果,然后返回用户,写入数据可以写入分布式表,当然这样的写入方式问题很多,一般是禁止写入分布式表的,那么选择写入本地表的化,需要将数原创 2021-08-16 18:59:08 · 1762 阅读 · 0 评论 -
Clickhouse学习之路(四)-- 单库启动并远程链接、操作举例
单库启动,并远程链接一.ClickHouse Server启动前需要注意几点:ClickHouse Server服务本身依赖三个端口,这三个端口的默认值是9000(TCP协议)、8123(HTTP协议)和9009(集群数据复制),映射到宿主机的时候尽可能一一对应,所以需要确保宿主机的这三个端口没有被占用,可以使用Docker的参数-p指定容器和宿主机的端口映射。ClickHouse Server正常使用需要修改容器系统的文件句柄数量配置ulimit nofile,可以使用Docker参数–ulimi原创 2021-08-09 17:22:17 · 597 阅读 · 0 评论 -
Clickhouse学习之路(三)-- 分布式表、索引原理
一.Clickhouse分布式表(引擎)的概念及举例1.ClickHouse分布式表的本质并不是一张表,而是一些本地物理表(分片)的分布式视图,本身并不存储数据。2.支持分布式表的引擎是Distributed,建表DDL语句示例如下,_all只是分布式表名比较通用的后缀而已。3.分布式(Distributed)表引擎是分布式表的代名词,它⾃身不存储任何数据,⽽是作为数据分⽚的透明代理,能够⾃动的路由数据⾄集群中的各个节点,即分布式表需要和其他数据表⼀起协同⼯作。分布式表会将接收到的读写任务,分发到各个原创 2021-08-09 17:21:21 · 1283 阅读 · 0 评论 -
Clickhouse学习之路(二)-- 分区、分片原理
一.Clickhouse分区的概念1.分区是表的分区,具体的DDL操作关键词是 PARTITION BY,指的是一个表按照某一列数据(比如日期)进行分区,对应到最终的结果就是不同分区的数据会写入不同的文件中。2.ClickHouse支持PARTITION BY子句,在建表时可以指定按照任意合法表达式进行数据分区操作,比如通过toYYYYMM()将数据按月进行分区、toMonday()将数据按照周几进行分区、对Enum类型的列直接每种取值作为一个分区等。3.数据Partition在ClickHouse中原创 2021-08-05 19:07:57 · 7643 阅读 · 1 评论 -
Clickhouse学习之路(一)-- 功能简介
Clickhouse是一个简单化和统一化的大数据分析平台。一.版本介绍企业应用建议使用LTS版本,LTS版本是为企业应用推出的稳定版本,差不多6个月一个版本。二.功能概述1. 真正的面向列的DBMS在一个真正的面向列的DBMS中,没有任何“垃圾”存储在值中。例如,必须支持定长数值,以避免在数值旁边存储长度“数字”。例如,十亿个UInt8类型的值实际上应该消耗大约1 GB的未压缩磁盘空间,否则这将强烈影响CPU的使用。由于解压缩的速度(CPU使用率)主要取决于未压缩的数据量,...原创 2021-08-05 19:04:43 · 336 阅读 · 0 评论