- 博客(2)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Kafka 幂等，事物，消息可靠性
本文结合在使用Kafka中的使用，和遇到的问题1.Kafka中如何保障发送消息的可靠性？首先我们在创建一个Producer是，可以设置的一些参数如下：1（默认）：这意味着producer在ISR中的leader已成功收到的数据并得到确认后发送下一条message。如果leader宕机了，则会丢失数据。0：这意味着producer无需等待来自broker的确认而继续发送下一批消息。这种情况下数据传输...
2018-06-07 16:46:53
4132
原创 Spark NLP实现本文挖掘
本机运用的技术栈为NLP（Word2Vec）关于NLP的相关理论请提前梳理清楚Spark mlib，rdd,dataframe,graph（顶点，边，连通图等基本概念）Spark 2.2.0,JDK 1.8.0 ,Scala 2.1.X如下思路图：1.如下创建一个DataFrame import spark.implicits._ val documentDF = spar...
2018-06-06 17:24:02
1963
1
spark-redis connector
spark对Redis原生的支持，可支持对Redis的各种操作 eg:sc.toRedisKV(saveRedisRDD),
配置如下
conf.set("redis.host","localhost")
conf.set("redis.prot","6379")
2017-09-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人