- 博客(20)
- 收藏
- 关注
原创 kafka 重分布相关
这里写自定义目录标题kafka 重分布相关重分布注意点实现方案方案二实施步骤插入链接与图片kafka 重分布相关最近集群中有三个节点需要替换为新节点,为了不影响上下游,考虑在不改变topic名字情况下做重分布。重分布注意点reassignment是非常消耗资源的,所以,要么在off-peak hours做,要么在运行kafka-reassign-partitions的时候加上参数–throttle做一下限制。同时,我们建议分批做,不要一个reassignment包含大量topic。在运行k
2022-04-07 10:32:55 345
原创 kafka相关参数调优
1. 消息大小限制调整message.max.bytes (broker配置)max.message.bytes (topic配置)可以在创建topic的时候增加这个配置:> bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --topic my-topic --partitions 1 \--replication-factor 1 --config max.message.bytes=64000或者在现有的t
2022-02-24 14:53:55 1414
原创 Replica.fetch.max.bytes参数
Brokers会为每个分区分配replica.fetch.max.bytes参数指定的内存空间,假设replica.fetch.max.bytes=1M,且有1000个分区,则需要差不多1G的内存,确保 分区数*最大的消息不会超过服务器的内存,否则会报OOM错误。...
2022-02-21 16:47:46 1048 1
原创 kafka out of memory
当时看日志是out of memory,以为是主机内存不足,查看当时主机的内存情况如下,以为是可用内存太少导致的后来确认是JVM内存泄露导致的,虽然空闲内存比较少,但是交换内存即buff是可以利用的,所以机器本身的内存是充足的查看kafka中 broker_max_heap_size设置的仅为1G,即分配给java程序的内存仅1G,改为10G,解决,观察了一段时间没有再出现oom的报错修改为...
2022-02-21 16:46:02 1215
原创 hbase 刷新队列和文件描述符过高告警
5节点的hbase配置为虚机,8c16g,时常出现刷新队列和文件描述符过高告警,如下图,文件描述符的告警不会自动恢复基本上每周重启一次RegionServer,重启后刷新队列会降下来。1:刷新队列高是因为小文件比较多2:文件描述符高是因为打开的文件比较多处理方法:拟合并hbase文件,后面合并了再更新看看HBASE手动触发major_compact_刘本龙的专栏-CSDN博客_hbase major_compactHBase1.x精通:HBase大合并、小合并(原理、触发条件、影响
2022-02-21 16:21:50 1294
原创 kafka集群副本同步问题排查
kafka失效副本是什么,具有哪些应对措施,在某节点故障情况下kafka集群副本状态监控情况,如何确认集群副本已恢复正常,故障期间会对下游消费有什么影响
2022-01-05 11:13:15 2518
原创 发送kafka报错:buffered messsge send to kafka err:Message size TooLarge
程序报错如下:解决方案:调整kafka对单条消息的大小限制:message.max.bytes从默认1M调整为10M,10M是cdh建议的最大值了,调整过大会影响kafka的吞吐量,同时需要调整replica.fetch.max.bytes的值需要大于等于message.max.bytes,该参数为broker同步的消息大小限制,如果小于message.max.bytes可能会出现broker接收消息但是主副本无法同步从而造成数据丢失。(我们用着的cdh的管理在界面可以调整整个集群的默认参数,如
2020-09-30 15:57:30 1824
原创 PyCharm PyInstaller安装报错setuptools>=40.8.0解决
报错如下,明明已经安装setuptools了,并且试了setuptools>=40.8.0和<40.8.0版本依旧报这个找不到对应的setuptools版本错误,后来自行手动安装成功,步骤如下1:安装了45.2的setuptools,(卸载其他版本使用 uninstall 命令)2:手工解压 PyInstaller的安装包,我用的是3.6版本3:PyCharm Termimal下执行1,进入解压后安装目录下,执行图中2命令安装4:如下图安装成功...
2020-08-31 17:07:16 15445
原创 PyCharm打包python文件为exe
1:安装pyinstall 模块2:PyCharm Terminal下切换目录到要打包的项目所在目录,执行命令 pyinsataller -H 要打包的py文件名3:打包后的文件在项目所在目录下的dist文件夹下
2020-08-31 16:46:12 285
转载 python混合输出字符和数字
1 2 x = 3 print(x+"nihao") 这样会报错,号连接不会报错 1 2 x = 3 print(x,"nihao")
2020-08-31 13:19:01 11136
原创 Pycharm离线导入第三方模块
1:pypi下载安装包2:2:将安装包拷入到本地3:Pycharm下切换到包所在目录pip install 安装到解释器4:导入模块成功
2020-08-27 10:50:05 2865
转载 remote: HTTP Basic: Access denied fatal: Authentication failed for
使用git clone命令克隆gitlab上面的项目的时候,出现了remote: HTTP Basic: Access denied fatal: Authentication failed for类似字眼的错误其实搜索这个报错网上就有很多资料比如 –>https://stackoverflow.com/questions/44514728/http-basic-access-denied-fatal-authentication-failed大体的意思在管理员状态下的cmd输入git ...
2020-07-31 15:05:43 315
转载 Centos Crontab查看状态和开启
# service crond statuscrond is stopped# service crond startStarting crond# service crond statuscrond (pid 20962) is running...git 自动拉取,写入日志# 自动拉取* * * * * cd /home/wwwroot/default/dexin/dragon/ && /usr/local/git/bin/git pul...
2020-07-29 17:04:37 1498
原创 实时计算运维相关
实时计算kafka运维kafka后台常用查询接口切换到kafka后台安装目录查看所有topic./kafka-topics.sh --list --zookeeper xx.xx.xx.xx:2181查看所有groupid./kafka-consumer-groups.sh --new-consumer --bootstrap-server xx.xx.xx.xx:9092 --list显示某个消费组的消费详情(支持0.9版本+)这个当前消费的offset是Unknown,好像是因为日志过期了
2020-07-29 14:57:24 114
原创 idea中maven-scala-plugin:unknow
maven-scala-plugin:unknow原因:maven依赖包maven-scala-plugin下载失败解决方法:maven->clean 重新下载依赖包,log中可以看到maven-scala-plugin的重新下载进度,下载完成后,点击Maven Projects中的刷新图标,错误消失...
2020-03-30 11:29:33 2631 1
原创 idea中maven项目操作
idea中的maven项目相关操作在界面的最右侧小竖条,进去后可以点击相关功能进行maven项目的clean,update等操作
2020-03-30 11:19:36 444
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人