- 博客(5)
- 收藏
- 关注
RSS订阅原创 spark优化参数
1、提交参数/bin/bashbasePath=cdcd–conf spark.default.parallelism=1000 \ 并行度–conf spark.yarn.executor.memoryOverhead=8G \ executor端额外内存–conf spark.speculation=true 开启检测hive优化参数启用倾斜连接优化超过20万行就认为该键是偏斜连接键。
2024-06-07 16:50:51
861
原创 kafka3.3.2集群搭建
添加 -Djava.security.auth.login.config=/opt/kafka/config/kafka_server_jaas.conf。KafkaClient这个名称不能变，保持大小严格。注意事项：kafka需要在zookeeper后面启动。配置中的username和password为。”不能少且位置不能变。中配置的user_开头的用户及对。重启验证所有配置是否正常。
2024-06-07 16:48:14
474
原创 KafkaProducer源码级解析
一、为什么需要消息系统1.解耦： 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。2.冗余： 消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的指出该消息已经被处理完毕，从而确保你的数据被安全的保存直到你使用完毕。3.扩展性： 因为消息队列解耦了你的处理过程，所以增大消息入队和处理的频率是很容易的，只要另外增加处理过程即可。4.灵活性 &
2022-03-15 16:34:45
4194
原创 spark structed streaming 两种消费kafka的方式
spark structed streaming 两种消费kafka的方式kafka过来的原消息体{"gamecode":"abcd","resultguid":"81_18148_184_-1699285363_4","startguid":"81_18148_184_1573391420_4","records":[{"cards":[40],"optype":0,"playtime":1...
2019-12-18 11:34:02
1768
1
原创 Metabase使用小记
Metabase使用小记一、使用目的欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导...
2019-06-12 11:41:59
1861
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人