- 博客(5)
- 问答 (3)
- 收藏
- 关注
原创 快速下载安装Git
如果你要用安装Git的话那你不要去官网去下载,它的速度会让你怀疑人生的这里我给大家提供一个基于阿里镜像的下载链接,网址:https://npm.taobao.org/mirrors/git-for-windows/大家选择下载就可以了...
2019-11-23 10:33:43 290 1
原创 kafka消息发送的时候实现一次性语义机制,幂等操作和事务操作
kafka实现消息只被精准处理(发送)一次kafka中实现这个功能的机制主要有两种,一种是幂等操作,另一种是事务操作,幂等操作所谓的幂等操作是指一个操作无论你重复的操作多少遍,最终得到的结果都是一样的,就比如乘法中的乘1操作,无论你乘多少次1结果都是它本身,类似这种操作就叫做幂等操作。在计算机中所谓的幂等操作,就是如果一个子程序是幂等的,那它必然不能修改系统的状态,这样不管运行这个子程序多...
2019-11-18 10:09:54 754
原创 kafka系列之kafka各个版本的区别
kafka的版本比较多大致有0.7、0.8、0.9、0.10、0.11、1.0 和 2.0,其中的小版本和 Patch 版本很多下面分别岁这些版本的特性跟大家讲解下0.7,0.8版本这是最早开源时的“上古”版本了,以至于我也从来都没有接触过。这个版本只提供了最基础的消息队列功能,甚至连副本机制都没有,我实在想不出有什么理由你要使用这个版本,因此一旦有人向你推荐这个版本,果断走开就好了。Kaf...
2019-11-15 14:56:33 7948
原创 kafka生产者的(1)消息去向何方
一、消息的发送消息发送是策略:所谓分区策略是决定生产者将消息发送到哪个分区的算法。Kafka 为我们提供了默认的分区策略,同时它也支持你自定义分区策略。如果要自定义分区策略,你需要显式地配置生产者端的参数partitioner.class。这个参数该怎么设定呢?方法很简单,在编写生产者程序时,你可以编写一个具体的类实现org.apache.kafka.clients.producer.Par...
2019-11-15 12:01:24 219
原创 mysql中的sql优化
在优化sql的时候,首先要根据它的执行计划,定位到跑的慢的sql片段在哪里,然后进行有针对的优化。在书写sql语句的时候,尽可能的减少子查询,比如能直接join的,就不要在它后面加select子查询了尽量不要写*,特别是那些字段比较多的表如果表有索引,一定要主要索引生效的条件,把索引利用起来尽量用group by 替代distinct...
2019-11-15 11:37:33 95
空空如也
flink on yarn 模式下出现提交任务失败
2019-09-24
flink中的分流和分区有什么区别吗,分别应用到哪些应用场景中呢
2019-09-21
hdfs中可以存储几个目录吗,怎么配置的?
2019-09-19
TA创建的收藏夹 TA关注的收藏夹
TA关注的人