- 博客(7)
- 收藏
- 关注
RSS订阅原创 kafka事务性之幂等性的实现
producer幂等性kafka的幂等性是指在发送同一条消息时，在服务端只会被持久化一次，数据不丢不重。但是是有条件的1：kafka的幂等性只能保证单会话有效，如果broker挂掉重启，幂等就无效了，因为无法获取之前的状态信息2：幂等性不能跨多个Topic-Partition，只能保证单个partition的幂等性。如果需要跨分区实现幂等就只能借助事务性实现，下一篇就会结束kafka事务...
2019-03-15 20:29:50
2216
2
原创 fastjson常用方法介绍
fastjson de getBooleanValue和getBoolean方法的区别 * *fastjson源码 **/public Boolean getBoolean(String key) { Object value = get(key); if (value == null) { retur...
2019-03-05 13:50:16
1340
原创 sparkStreaming程序过滤kafka json数据两种方法
方法1：在foreachRDD之前，就是streams之后过滤我取的是type值为null（不是"null"）的数据val sv= stream.map(_.value()) .filter(jd => { val json1 = jd.substring(0, jd.lastIndexOf("}")+1) JSON.parseObj...
2019-02-22 18:36:56
2084
1
原创 深入理解fastjson
fastjosn在遍历输出是默认是无序的因为这样是最快的但是如果想保持有序，fastjson也提供了解决办法就是加一个参数Feature.OrderedField实例如下val text: String = JSON.toJSONString(JSON.parseObject(str,Feature.OrderedField), SerializerFeature.WriteN...
2019-02-22 18:07:12
489
原创 记录fastjson遇到的问题
fastjson使用JSON.parseObject()时，为了减少输出字节会省略空值，下面附解决办法package sparkStreamingimport com.alibaba.fastjson.JSONimport com.alibaba.fastjson.serializer.SerializerFeatureobject TestFastJson { def main(...
2019-02-22 17:59:05
407
原创 SparkStreaming消费Kafka数据kafkaRDD转DataSet的小问题
本文将介绍sparkStreaming直连kafka的方式本来是想直接在foreachRDD的时候把rdd转成DataSetdans但是kafka的RDD是ConsumerRecord[String, String]类型的，key是offset，partition等等一些信息，value是数据。DataSet其实就相当于一张有scame信息的表val value = rdd.map(rd =&...
2019-02-21 18:09:14
1333
原创 hive语法拼接字符串
方法一 ：适用于多个字段中没有空值select concat(leix01,leix02,leix03) from 方法二：(1)适用于多个字段中有空值(1)select concat_ws(' ',copn_msg,prom_msg) as cpmsg from(2)select concat(nvl(leix01,''),nvl(leix02,''),nvl(leix03,'')) ...
2018-12-29 10:58:19
16016
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人