- 博客(13)
- 收藏
- 关注
RSS订阅原创 kafka3.4.0集群搭建（无zookeeper）
3.我们需要在启动服务器之前创建kafka集群id。在另一个终端中，使用以下命令启动消费者，注意，监听的集群另一个节点。5.可以使用以下命令在守护程序模式下启动kafka服务器。2.修改server.properties以下属性。7.生产和消费kafka数据。使用以下命令开启一个生产者。测试：生产者输入 成功。列出所有topic查看。
2024-04-03 15:39:20
474
原创 CentOS7离线安装Python3
1.Python离线依赖安装包准备及安装2.Python安装包准备及安装3.创建软连接4.检查5.离线安装第三方模块。
2023-07-01 23:48:33
796
1
原创 紫薇盘反推出生年月时
紫薇反推紫薇盘反推出生年月时肯定有的紫薇盘反推出生年月时最近在学习紫薇，但是有些盘隐去了出生时间，这样就很难分析，有办法反推吗？我在网上找了半天没找到。肯定有的我看了一些资料，用算法实现了。比较粗糙，但也能用。...
2022-03-14 10:19:08
714
原创 clickhouse一个测试报告
测试语句-- 9亿数据的表中做如下测试select CLLXDM, count() from t1 group by CLLXDM ;配置信息124配置[root@localhost ~]# free -mtotal used free shared buff/cache availableMem: 15887 2258 9978 4 3649 13027
2021-10-12 15:40:46
167
原创 clickhouse卡顿的解决
问题描述我在用的时候发现做count() 计算时快时慢，正常情况下是毫秒出的，但有时候4，5秒，这很不正常，因为这么简单的计算都如此慢，复杂操作不是更慢？定位一开始想是不是物化视图在后面做计算，后来去query_log表里看，并没有发现踪迹，然后用top 命令看是谁在后面操作占用了资源，结果都很正常，并没有进程在大量占用，但是我看到内存已经不足了，48G内存，free的只有1G，然后我用free 命令去看，果然，buff/cache里躺了33G，那就动手清理吧。结果两个命令一敲，世界立马清静sy
2021-10-11 10:00:42
1128
原创 Clickhouse实时数据的另一种实现思路
文章目录前言步骤1. 在pg库里建表2. 在clickhouse里建相同的表，用来存放历史数据3. 在clickhouse里建立PG引擎表，此表可以提供当天的实时数据4. 最后在clickhouse中建立view5. 每晚同步前言之前从kafka出来的数据是实时写入到clickhouse和pg的，现在提出另一种通过view实现的方案。具体来说，把当天的数据存放到clickhouse的pg引擎表中，把历史数据同步到clickhouse表中，然后通过view把这两张表组合到一起。每天晚上定时将当天的数据
2021-07-22 19:47:48
815
原创 clickhouse数据的手动迁移实践
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、pandas是什么？示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。二、使用步骤1.引入库代码
2021-06-08 18:48:06
2110
原创 使用kettle从pg同步增量数据到clickhouse
pg测试表create sequence public.add1byself INCREMENT BY 1 MINVALUE 1 START WITH 1;create table public.tb3( id int not null default nextval( 'public.add1byself' ) primary key, name varchar(20), update_sj timestamp(0));--搞几条数据insert into t
2021-05-11 21:46:18
1445
原创 kettle添加clickhouse插件
打jar包到这个地址把代码down下来https://github.com/aaa8210/kettle2clickhouse/pull/1打包会得到以下两个jar文件：KettleClickhouseJDBC-9.1.0.0-324.jarTncKettleClickhouse-1.0-SNAPSHOT.jar把这两个文件copy到kettle的 plugin/clickhouse-plugin 下，自己把目录建起来。然后再把clickhouse-jdbc-0.3.0.jar， lz4-1
2021-05-11 21:31:55
1101
4
原创 Kettle8.2 百度网盘下载
csdn上很多无耻之人将免费的东西拿去卖钱！！！下面这个是免费的百度版https://www.pianshen.com/article/9692267032/欢迎拿走
2021-05-11 15:45:09
1774
4
原创 dataGrip显示clickhouse时间字段不正确的问题
最近碰到一个问题，我是用dataGrip连接clickhouser的，发现有个差8小时时区的问题，如下图这个可以肯定是时区的问题，因为差了8个小时。一开始去高级里把use_time_zone修改为Asia/Shanghai，但没什么效果，依然显示不正确。后来查找各方资料，修改为utc后解决。...
2020-11-20 15:24:18
2137
6
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人