Spark
V_Gbird
talk is cheap
展开
-
Spark异常报错整理
答主是一名刚接触Hadoop,Spark的小白工程师,该文章整理答主在开发过程中遇到的一些Spark的错误,将会持续更新。 1) Exit Code:13 Stack trace:ExitCodeException exitCode=13: org.apache.hadoop.util.Shell.runCommand(Shell.java:545) ... 错误原因:任务在提原创 2018-01-29 20:46:32 · 4233 阅读 · 0 评论 -
SparkStreaming + Kafka集成指南(Kafka版本要求0.10.0以上)
SparkStreaming集成Kafka0.10版本与集成0.8版本Kafka的直接连接方式类似。提供了简单的并行性以及Kafka分区和Spark分区之间一对一的映射,以及元数据和偏移量的访问。然而,因为使用新版本的消费者的API而不是简单方式的API造成了一些使用上的不同。当前版本的APi是试验性的,因此可能会被修改。引入对于scala或者java使用Maven或SBT的应用,...翻译 2018-05-25 21:25:06 · 9558 阅读 · 3 评论