- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 kafka创建topic时是如何在不同的broker当中放置分区与副本的
我们都知道，Kafka每个主题有多个分区，每个分区会存在多个副本，我们今天要讨论的是这些副本是怎么样放置在 Kafka 集群的 Broker 中的。大家可能在网上看过这方面的知识，网上对这方面的知识是千变一律，都是如下说明的：为了更好的做负载均衡，Kafka尽量将所有的Partition均匀分配到整个集群上。Kafka分配Replica的算法如下：将所有存活的N个Brokers和待分配的Pa...
2019-01-15 09:37:17
971
原创 截取字符串从开头到第n个重复的字符
在对字符串的处理当中我们经常会遇到从0到第n个字符的截取要求，或者是从第n个字符截取到最后，例如：截取url中的ip和端口号，下面就来编写一个小demo吧 public static void main(String[] args) { System.out.println(getbatchId("https://localhost:4040/jobs","/", ...
2019-01-04 17:32:20
1827
原创 利用反射将实体类对象转成Map
在我们编程的过程中往往会用到反射，利用反射有时候可以更容易的做到一些事情，下面就说一个反射的实际应用场景吧，就是将object转化成一个map，object里的属性名对应map的key，object里的属性值对应map的valuepublic static Map<String, Object> objectToMap(Object obj) { Map<S...
2019-01-04 17:20:10
932
1
原创 Jsoup解析sparkUI
在跑spark程序的时候我们可以通过sparkUI的方式来监控程序的运行状态如下图：最近项目遇到一个需求，需要把sparkUI上的一些参数获取到前段展示，然后自己上网查找了一些资料，发现jsoup可以轻松解析搞定，他可以解析html，非常方便而且实用，代码如下：//测试方法：public static void main(String[] args) {Map<String...
2019-01-04 17:04:02
242
spark-2.4.5-bin-hadoop2.7.tar.gz
2020-06-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人