- 博客(32)
- 收藏
- 关注
RSS订阅
原创 MySQL生产环境下相关命令及使用
在jdbc连接url中增加参数,增加自动重连机制autoReconnect=true。生产环境服务器需要挂数据盘，所以要更改mysql的存储路径。
2023-04-21 16:52:15
236
1
原创 ClickHouse根据STATE表及DEL表实现数据的更新与删除
考虑到alter table 对clickhouse的性能和数据一致性有一定的影响，所有尽量使用创建新表来替换旧表以实现数据的变更于删除，下面我将使用状态表和删除表来实现表的更新与删除。
2024-07-28 23:19:08
381
原创 ClickHouse集成LDAP实现简单的用户认证
ldap_data_role 这个是预先在clickhouse里创建好的角色。发现使用密码的使用也是test会出现密码不正确，不太清楚是哪的问题。在clickhouse的配置路径下创建了个data.xml。配置好后重启clickhouse，即可使用对应的用户。1.这里我的ldap安装的是docker版的。这里改一下用户名和密码试试,也是正常登陆。dn那部分根据自己的用户组的去设置吧。登陆上分别创建了对于的组和用户。增加用户test,登陆正常。角色权限控制参考官网的语法。
2024-07-17 23:15:19
608
原创 伪分布式部署 DolphinScheduler
添加配置,重新启动即可,seatunnel就可正常使用了。添加seatunnel并把想要的连接器放进lib下。
2024-07-17 22:42:44
317
原创 ClickHouse用UDF解析XML字符串和XML文件
函数名wsdXpathArrB64('参数1',参数2)wsdXpathB64('参数1‘,'参数2')
2024-04-23 22:13:49
560
原创 CentOS离线tar包安装MySQL
3.创建/etc/my.cnf。2. 创建数据目录和日志目录。//创建mysql用户组。4.初始化mysql。
2024-03-07 17:15:44
569
原创 ClickHouse部分数据类型及相关转换
1.字符串（String)字符串是目前我用的比较多的数据类型，字符串类型可以代替其他 DBMSs 中的 VARCHAR、BLOB、CLOB 等类型，更加的方便，只需要用一个就行如果数据类型设置的是Nullable(String)的话,作为排序键，order by ifNull(CONTENT,'')2.时间类型DateTime64更加精确，一般我是秒级后面保留3位（一般我在生产环境中用到date类型的很少，做计算的话会直接使用toDate去取）DateTime64取值：例.
2024-03-05 15:24:12
2068
原创 ClickHouse物化视图消费kafka日志
根据不同的场景，可以对物化视图的查询语句进行修改，比如需要针对一些json的解析存储等。5.kafka生产数据，查看clickhouse实体表是否拿到数据。clickhouse会自动建立.innner开头的实体表存储。4.创建物化视图解析kafka引擎表日志并存储到实体表。如下，这样日志解析存库就可以实时消费kafka日志。clickhouse实体表也是成功取到数据了。3.创建实体表存储消费到的kafka数据。2.创建kafka主题表。1.创建kafka主题。
2024-03-04 17:00:08
1220
原创 ClickHouse单表数据重复如何去重
一般生产环境的表都会有更新字段，数据更新的话，如何去掉老数据可以参考我的另一篇。这里准备了两个测试表，表一为原表，表二为重复表。一.数据表数据一致且翻倍。
2024-02-01 16:31:33
1746
原创 Java二分法
二分法（Binary Search）是一种在有序数组中查找特定元素的搜索算法。它通过将数组分成两半，然后确定目标元素可能存在的那一半，不断缩小搜索范围，直到找到目标元素或确定目标元素不存在。需要注意的是，二分法要求数组必须是有序的，否则无法正确进行搜索。如果数组无序，可以先对数组进行排序，然后再使用二分法进行搜索。二分法的时间复杂度为O(logn)，其中n是数组的长度。由于每次搜索都将搜索范围缩小一半，因此二分法的效率非常高。
2023-09-24 03:30:22
253
1
原创 Java排序算法
冒泡排序的基本思想是从数组的第一个元素开始，依次比较相邻的两个元素，如果前一个元素大于后一个元素，则交换这两个元素的位置。快速排序（Quick Sort）是一种常用的排序算法，它基于分治的思想，通过选择一个基准元素，将数组分成左右两个子数组，左边的元素都小于基准，右边的元素都大于基准，然后递归地对子数组进行排序，最终得到一个有序的数组。归并排序是一种基于分治思想的排序算法，它将待排序的数组分成两个子数组，分别对子数组进行排序，然后将两个有序子数组合并成一个有序数组，从而实现整个数组的排序。
2023-09-24 03:26:57
90
1
原创 Java连接带有sasl_ssl认证的kafka同步到clickhouse
System.out.println("消息发送至 --> " + metadata.topic() + " 偏移量为：" + metadata.offset());System.out.println("消息发送失败 " + exception.getMessage());在target下的classes下添加生产者配置文件client.properties,ssl密钥的路径按照你自己的路径写。clickhouse连接带有sasl_ssl的kafka的配置参考我的另一篇。// 创建生产者对象。
2023-09-10 17:48:41
302
1
原创 ClickHouse连接SASL_SSL认证的Kafka
在config目录下创建sasl_ssl目录复制 server.properties一份到sasl_ssl下命名为server_sasl_ssl.properties修改文件。同样修改/etc/clickhouse-server/config.d下的metrika.xml。添加密码验证文件kafka_server_jaas.conf。之前配置过ssl在这个基础上配置sasl_ssl。二.clickchouse配置连接kafka。一.kafka配置sasl_ssl认证。#创建kafka引擎表。
2023-09-10 00:55:35
619
1
原创 ClickHouse连接SSL认证的Kafka
将 PEM 格式的根证书导入到 JKS 格式的信任库中： 这将生成一个名为 client.truststore.jks 的信任库文件，并将根证书导入其中。在kafka的config目录下创建ssl2目录复制 server.properties 到ssl下命名server_ssl.properties。将密钥文件复制到clickhouse的目录下的创建ssl目录下,server.crt,server.pem,server.key。修改server_ssl.properties。
2023-09-10 00:32:31
903
2
原创 MySQL存储过程的使用
MySQL的存储过程是一组预编译的SQL语句，它们被存储在数据库中，并可以通过名称进行调用和执行。存储过程可以接受参数，并且可以包含条件语句、循环、异常处理和其他编程结构，使其具有更强大的功能。beginend;
2023-08-15 11:32:29
250
1
原创 ClickHouse数据目录迁移
然后整体表都这样操作就可以了，对原有的数据进行数据删除，新版本的ck应该满足数据软连接重新指向，老版本可能出现数据表软连接没有改变的情况，更改数据目录后，data下的软连接还是指向/var/lib下的store分区，可以试试使用rename这种方式。将/var/lib/clickhouse原有数据目录更改为我想要的数据目录，这里我将/var/lib/clickhouse目录替换成了/mnt/clickhouse_data。更老的版本可能不存在store目录的情况，数据就是存储在data目录下。
2023-07-26 17:33:26
1343
1
原创 ClickHouse分布式计算
1.数据量太大，服务器磁盘不够用，那可能就需要多台服务器做分布式计算，和分布式节点存储数据，我在做数据迁移的过程中，发现200G的服务器磁盘根本不够用，本来是打算做负载均衡的，各个服务器的承载数据量一致，并每天进行同步更新，保证数据一致性。我一般会使用脚本去控制集群的各个服务器的表的创建删除，当然clickhouse还支持zookeeper控制集群，后续我会补充，如何用zookeeper来控制集群操作，脚本也是很方便的，但是仅支持单行操作，有换行会报错，还是有缺点的。
2023-07-26 16:45:25
318
1
原创 Nginx安装
能yum就yum 慎用使用rpm -uvh 去安装自己下载的依赖包,因为可能存在软件不兼容，致使服务器命令不能使用。链接：https://pan.baidu.com/s/1y4TTr9e6WxdIne0RrsawKw。修改nginx.conf。再server里添加。
2023-05-09 21:41:29
181
原创 Kafka单机安装-kraft模式
链接：https://pan.baidu.com/s/185mu1jqgrKyojZp232GBTw。链接：https://pan.baidu.com/s/1C8hLbPiotytkOoMZBtzHDw。
2023-05-09 21:15:00
860
原创 ClickHouse取最新值
当数据入库时，可能存在ID重复的情况，可能时明细层去重不彻底，或者时进行数据治理时，join时产生重复数据，我需要对这些ID进行去重，并保证最后进入实体表的数据时是不重复的。
2023-05-08 16:23:45
2232
1
原创 ClickHouse往MySQL数据回插
使用clickhouse从mysql拉取数据构建数仓的同时，有的时候也需要从clickhouse往mysql里回插数据来满足需求，毕竟mysql在生产环境下用的还是比较多的，clickhouse做完数据分析处理，再将数据导入mysql数据库，来向需要使用接口获取mysql数据提供服务。
2023-04-27 17:43:24
518
2
原创 基于ClickHouse的数据迁移构建数仓
1.数据源clickhouse支持数据迁移，不得不提clickhouse的jdbc，通过jdbc可以从其他类型的数据库查询和获取数据，如oracle，mysql，人大金仓，sqlserver都是生产环境下用的比较多的数据库，都可以进行数据迁移到基于clickhouse的数据仓库中，提升性能。
2023-04-22 00:41:58
1118
3
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人