- 博客(67)
- 收藏
- 关注
原创 新装idea后的常用配置
(所有为idea new project配置默认配置的都是 File -> New Projects Settings -> Settings for New Projects)
2024-03-07 10:45:10 8860
原创 kafka运维常用命令
1. 创建topic./kafka-topics.sh --create --partitions 1 --replication-factor 2 --topic test --zookeeper zk_host:port/chroot2. 删除topic./kafka-topics.sh --delete --topic test --zookeeper zk_host:port/chroot3. 查看topic描述信息./kafka-topics.sh --describe
2022-04-28 13:53:08 2621
原创 kafka 日志清理机制详解
说到kafka的日志清理策略,就会涉及到配置项cleanup.policy,在broker server端配置项是log.cleanup.policy,在topic级别则是cleanup.policy。所以可以是全局设置,或者单独对某个topic设置,一般不会修改默认值(即delete),根据业务需求自己单独可对topic设置其他policy。log.cleanup.policy的默认值是delete,可选项有delete/compact,在0.10版本后才可以同时配置delete,compact。
2022-04-11 17:26:12 8728 1
原创 人生警示格言
1. 吾生也有涯,而知也无涯,以有涯随无涯,殆矣。该语句来自于《庄子.养生主》。释义:人的生命是有限的,而知识是无穷的。以有限的生命去追求无穷的知识,就会弄得筋疲力尽,最终可能一事无成。就是提醒人们要专注,把有限的精力用于某一领域的知识上,才能会学有所成。切不可贪广而杂。可现实中都大多被误用,总是提倡学海无涯,却没提出重要的地方就是要选好方向,一直深耕。而不是迷失在知识的海洋里,浪费有限的生命。...
2022-04-08 13:59:52 199
原创 Java注解:@see和@link
在写代码的注释时,有时需要把内容相互关联起来,方便在查看的时候,可以直接指向其他的类、属性或方法。比如@deprecated标记的类,需要指向推荐使用的新类时,该注解就很有用了。说白了,他就是可以链接指向代码,让我们的注释更清晰易懂。可以指向包、类、方法、属性。@see注解的使用方法:@see classname@see fully-qualified-classname@see fully-qualified-classname#方法名称@see fully-qualified-classnam
2022-03-22 11:09:38 5347
原创 Flink函数系列(1)-rich function
rich function,即“富”函数,即相比一般的function来说,他提供了更多的功能。它定义了函数生命周期的一些方法,并可以获取函数运行时的上下文。
2022-03-06 00:56:23 2450
原创 spark 广播变量和累加器使用和原理
使用通常,当传递给Spark算子(比如map或reduce)函数在远程集群节点上执行时,它在函数中使用的所有变量的单独副本上工作。这些变量被复制到每台服务器上,对远程服务器上变量的任何更新都不会传播回driver程序。通常支持跨Tasks的读写共享变量性能比较低。也就是说如果在一个算子函数中使用到了某个外部的变量,那么这个变量的值会被拷贝到每个task中。此时每个task只能操作自己的那份变量副本。如果多个task想要共享某个变量,那么这种方式是做不到的。然而,Spark确实为两种常见的使用模型提供
2022-02-28 15:12:58 1992
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人