spark
sky@梦幻未来
这个作者很懒,什么都没留下…
展开
-
怎样使用spark的pipe调用外部程序
版权声明:本文为博主原创文章,转载请附上原文出处链接和本声明怎样使用spark的pipe调用外部程序Spark在RDD上提供pipe()方法。Spark的pipe()方法可以让我们使用任意一种语言实现Spark作业中的部分逻辑,只要它能读写Unix标准的流就行。通过pipe(),你可以将RDD中的各元素从标准输入流中以字符串形式读出,并对这些元素执行任何你需要的操作,然后把结果以字符串的形式写...原创 2019-08-15 15:58:16 · 2529 阅读 · 0 评论 -
python实现监控sparkStreaming并失败重启
python实现监控sparkStreaming并失败重启本博客实现了对mysql,hive,sparkStreaming的监控,具体步骤如下:1.安装依赖安装wheelpip install wheel安装saslpip install D:\python\sasl-0.2.1-cp36-cp36m-win_amd64.whl注:需要下载与python 版本对应的sasl,我的...原创 2019-08-29 15:27:41 · 342 阅读 · 0 评论