- 博客(30)
- 收藏
- 关注
原创 kafka启动报错:org.apache.kafka.common.errors.CorruptRecordException
解决方案:把对应的日志删除之后,重启。
2024-06-20 11:30:04 118
原创 实时计算窗口含义
比如窗口长度设置为1分钟,滑动步长为30s,10:00:00发送消息A,10:00:33发送消息B,10:01:01发送消息C,接收端10:01:00接收到消息A和B,10:01:30接收到消息B和C。比如会话超时时间设置为1分钟,10:00:00发送消息A,10:00:59发送消息B,10:01:59发送消息C,一直到10:02:00不发送消息,接收端10:02:00收到消息A、B、C。比如窗口长度设置的是1分钟,10:00:00发送消息A,10:00:30发送消息B,10:01:01发送消息C。
2024-06-04 15:40:33 195
原创 python实现通过用户名密码认证的kafka发送消息
sasl_plain_username='username', # 替换为你的用户名。sasl_plain_password='password', # 替换为你的密码。' # 替换为你要发送的消息。topic = 'topic' # 替换为你的 Kafka 主题名称。# Kafka 服务器地址,替换为你的kafka地址和端口。# Kafka 生产者配置。# 等待所有消息发送完成。# 要发送的消息和主题。
2024-06-04 14:04:04 355
原创 记录kafka连接报错:SyntaxError: invalid syntax
原因在于:kafka-python1.4.7以下版本中.async关键词和python3.7以后版本冲突,python3.7重新定义了.async关键词,故导致不能用。经过排查,python的版本为3.9.5,kafka的版本为1.3.5。卸载1.3.5版本的kafka,安装1.4.7版本的kafka。
2024-06-03 10:38:33 208
转载 crontab执行就报错:exec: java: not found
In: failed to create symbolic link '/usr/bin/java' : file exists (软链接已经存在)百度搜索发现原来是java的默认/usr/bin/java路径与我们实际的$JAVA_HOME/bin/java路径不一致导致的。/usr/bin/java -> /etc/alternatives/java (软链接已经变红,不可用)接下来我就是删除软连接,重新建立软连接。再次设置定时任务执行,发现执行成功!
2023-11-07 11:29:41 447
原创 kafka挂掉或者崩溃的时候自动检测到并将其启动
将cron任务加入开启自启动,在 /etc/rc.local 文件中加入:systemctl restart crond。#获取kafka进程数量,正常情况下一台机器一个kafka,所以kakfa正常运行的时候肯定大于1。备注:如何查看是centos几: cat /etc/centos-release。如果上图的脚本有问题,可以采用sh -x command进行调试。#当进程小于等于1的时候启动kafka。2、将启动脚本加入定时任务。
2023-11-07 10:48:17 196
原创 pg报错:SQL 错误 [55000]: ERROR: cannot delete from table “caq“ because it does not have a replica identi
pg报错:SQL 错误 [55000]: ERROR: cannot delete from table "caq" because it does not have a replica identity and publishes updates。如果一张表缺少主键,并且涉及到update和delete,需要执行。
2023-11-06 11:15:14 1016
原创 mysql建表的时候报错:Column length too big for column ‘aa‘ (max = 21845); use BLOB or TEXT instead
字符集是 latin1 时,最多只能指定65532的长度。字符集是 utf8 时,最多只能指定21844的长度。解决方案,修改数据库的字符集为latin1。
2023-11-06 11:14:16 248
原创 使用kafka tools工具连接带有用户名密码的kafka
2、在Security选择Type类型为SASL Plaintext。3、在Advanced页面添加如下图红框框住的内容。1、创建kafka连接,配置zookeeper。4、在JAAS_Config加上如下配置。
2023-10-27 16:57:29 1300
原创 primary key(id) NOT ENFORCED的含义
'username' = '${userName}', --JDBC 用户名。--'scan.incremental.snapshot.chunk.key-column' = 'name' 没有主键的情况需打开注释。'connector' = 'mysql-cdc', --指定使用什么类型的连接器。'database-name' = '${databaseName}', --库名。'table-name' = 'sop1' --表名。
2023-07-28 14:14:21 611
原创 kafka报错:could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClie
可查看config目录下的server.properties中的listeners=PLAINTEXT://xx.xx.xx.xx:9092,kafka命令中的ip和端口要跟这个配置文件中保持一致。命令中的kafka地址和端口是否填写正确。执行kafka命令报错。
2023-06-20 16:22:12 2607
原创 超简洁步骤安装kafka(linux环境)
4、在zookeeper的conf目录下修改配置文件名(启动zookeeper的时候会去找zoo.cfg)4、在config目录下修改配置文件server.properties。2、通过rz命令将zookeeper安装包上传到linux。一、查看jdk是否安装(如果没有安装,可自行百度安装)5、在zookeeper的bin目录下启动zk。2、通过rz命令上传到linux服务器。3、在bin目录下启动kafka。4、在bin目录下创建topic。二、安装zookeeper。
2023-06-20 16:17:48 2376
原创 java.lang.Error: Properties init: Could not determine current working directory.
该错误表示 getcwd 命令无法定位到当前工作目录。一般来说是因为你 cd 到了某个目录之后 rm 了这个目录,这时去执行某些 service 脚本的时候就会报 getcwd 错误。表示当前目录不存在,cd到其他目录执行该命令就可以了。
2023-05-22 11:16:12 1198
原创 python列出列表中重复的元素
print("重复元素为%s"%i)print("无重复的元素")#将列表转换为numpy的数组。# 获取元素的下标位置。
2023-05-11 17:01:59 858
原创 linux和windows查看端口被占用
2、netstat -nap|grep 端口号。windows根据pid杀进程。1、lsof -i:端口号。linux查看端口被占用。
2023-05-05 10:50:49 93
原创 kafka相关命令
/kafka-topics.sh -zookeeper 10.10.10.10:15520 --create --partitions 5 --replication-factor 1 --topic test(test为要创建的topic名称)./kafka-console-consumer.sh --bootstrap-server 10.10.10.10:15500 --topic test --from-beginning(--from-beginning代表从头消费数据)
2023-05-05 10:49:41 46
原创 压测过程中查看是否吃满带宽
如上图,eno1这个网卡的带宽(带宽:1s钟传输的数据量)为1000Mb/s,即1000/8=125MB/s。1、查询对应jmeter服务器的网卡带宽。通过dstat命令查看带宽实时使用情况。如上图,带宽已经吃满,最大为116M。2、jmeter命令启动的时候。ethtool 网卡名。所以会导致很多请求失败。
2023-04-27 15:16:29 817
原创 查看redis当前连接数: info clients
查看redis最大连接数:CONFIG GET maxclients。设置连接数: CONFIG set maxclients 10。查看redis当前连接数: info clients。
2023-04-25 15:33:14 702
原创 TPS上不去分析
latency为请求发出到收到响应的时间,connect time为tcp建立连接的时间。latency-connect time为服务端消耗的时间。如果相减数值比较大,那么说明响应时间主要在服务端,如果相减数值比较小,说明响应时间主要在建立连接。如下图:latency的值都超过了1s,分析得出是服务端响应时间耗时长导致tps上不去。可通过分析结果逻辑来优化。jmeter脚本中加上同步定时器和用表格查看结果。最近在做压测的时候,发现tps上不去,CPU利用率也很低。TPS:每秒处理的请求数。
2023-04-24 15:55:51 579
原创 pip安装robotframework失败
是因为低版本的python 没有使用SSL连接, 我们在安装的请求参数添加如下选项 --trusted-host。
2023-04-23 10:25:18 310 1
原创 mysql 修改用户权限
意思就是将服务器上的所有资源都给root用户权限,%代表来自不同的IP。这里需要注意一下要把密码也要带上。通过密码123登录。
2023-04-21 16:04:37 752
原创 怎么查看和修改mysql的最大连接数
Threads_running | 4 | ###这个数值指的是激活的连接数,这个数值一般远低于connected数值。| Threads_connected | 57 | ###这个数值指的是打开的连接数。修改方法:临时性修改可以直接执行sql语句。修改配置文件my.cnf。修改后重启mysql。
2023-04-21 15:47:04 293 1
原创 hbase常用命令
create '命名空间名:表名', {NAME => '列族名', VERSIONS => 版本号}put '命名空间名:表名', 'rowkey(行号)', '列族名:列名', 'value'get '命名空间名:表名', 'rowkey(行号)', '字段名', '时间戳'会删除时间戳小的最接近的一个版本的数据,时间戳可以省略,若省略则为当前时间。重复写入相同的rowKey,相同列的数据,会写入多个版本进行覆盖。get '命名空间名:表名', 'rowkey(行号)'进入HBase客户端命令。
2023-04-21 15:28:25 301 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人