spark-streaming
文章平均质量分 71
V_Gbird
talk is cheap
展开
-
SparkStreaming local模式部署下遇到的requirement failed的问题
最近在local模式下部署了一个数据筛选的sparkstreaming程序,主要是对一些用户的交易数据进行实时处理,环境配置如下: spark :2.1.0,目前是采用单个节点的Standalone部署模式 scala:2.10.4 jdk:1.7.079 该程序在执行时没有出现异常,但是在执行一段时间之后会报 IllegalArgumentException:Requirement fa原创 2018-01-29 20:33:45 · 2562 阅读 · 2 评论 -
SparkStreaming + Kafka集成指南(Kafka版本要求0.10.0以上)
SparkStreaming集成Kafka0.10版本与集成0.8版本Kafka的直接连接方式类似。提供了简单的并行性以及Kafka分区和Spark分区之间一对一的映射,以及元数据和偏移量的访问。然而,因为使用新版本的消费者的API而不是简单方式的API造成了一些使用上的不同。当前版本的APi是试验性的,因此可能会被修改。引入对于scala或者java使用Maven或SBT的应用,...翻译 2018-05-25 21:25:06 · 9558 阅读 · 3 评论