- 博客(7)
- 收藏
- 关注
原创 kafka事务性之幂等性的实现
producer幂等性kafka的幂等性是指在发送同一条消息时,在服务端只会被持久化一次,数据不丢不重。但是是有条件的1:kafka的幂等性只能保证单会话有效,如果broker挂掉重启,幂等就无效了,因为无法获取之前的状态信息2:幂等性不能跨多个Topic-Partition,只能保证单个partition的幂等性。如果需要跨分区实现幂等就只能借助事务性实现,下一篇就会结束kafka事务...
2019-03-15 20:29:50 2278 2
原创 fastjson常用方法介绍
fastjson de getBooleanValue和getBoolean方法的区别 * *fastjson源码 **/public Boolean getBoolean(String key) { Object value = get(key); if (value == null) { retur...
2019-03-05 13:50:16 1387
原创 sparkStreaming程序过滤kafka json数据两种方法
方法1:在foreachRDD之前,就是streams之后过滤我取的是type值为null(不是"null")的数据val sv= stream.map(_.value()) .filter(jd => { val json1 = jd.substring(0, jd.lastIndexOf("}")+1) JSON.parseObj...
2019-02-22 18:36:56 2118 1
原创 深入理解fastjson
fastjosn在遍历输出是默认是无序的因为这样是最快的但是如果想保持有序,fastjson也提供了解决办法就是加一个参数Feature.OrderedField实例如下val text: String = JSON.toJSONString(JSON.parseObject(str,Feature.OrderedField), SerializerFeature.WriteN...
2019-02-22 18:07:12 502
原创 记录fastjson遇到的问题
fastjson使用JSON.parseObject()时,为了减少输出字节会省略空值,下面附解决办法package sparkStreamingimport com.alibaba.fastjson.JSONimport com.alibaba.fastjson.serializer.SerializerFeatureobject TestFastJson { def main(...
2019-02-22 17:59:05 413
原创 SparkStreaming消费Kafka数据kafkaRDD转DataSet的小问题
本文将介绍sparkStreaming直连kafka的方式本来是想直接在foreachRDD的时候把rdd转成DataSetdans但是kafka的RDD是ConsumerRecord[String, String]类型的,key是offset,partition等等一些信息,value是数据。DataSet其实就相当于一张有scame信息的表val value = rdd.map(rd =&...
2019-02-21 18:09:14 1358
原创 hive语法拼接字符串
方法一 :适用于多个字段中没有空值select concat(leix01,leix02,leix03) from 方法二:(1)适用于多个字段中有空值(1)select concat_ws(' ',copn_msg,prom_msg) as cpmsg from(2)select concat(nvl(leix01,''),nvl(leix02,''),nvl(leix03,'')) ...
2018-12-29 10:58:19 16068
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人