- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 python实现监控sparkStreaming并失败重启
python实现监控sparkStreaming并失败重启本博客实现了对mysql,hive,sparkStreaming的监控，具体步骤如下：1.安装依赖安装wheelpip install wheel安装saslpip install D:\python\sasl-0.2.1-cp36-cp36m-win_amd64.whl注:需要下载与python 版本对应的sasl,我的...
2019-08-29 15:27:41
384
转载 openresty安装nginx和lua以及lua调用
openresty安装nginx和lua调用用过nginx的人都知道，nginx用起来比较顺手也有很多的特性。但是在nginx上开发却成了一个很大的难点，因为Nginx模块的开发涉及到C语言，而且必须符合一系列复杂的规则，这就要求开发者必须非常熟悉Nginx的源代码，而且开发的C模块必须与源代码完美契合，这使得许多开发者望而生畏。openresty的产生为我们解决了这个难题，openresty允...
2019-08-20 11:10:10
672
原创 怎样使用spark的pipe调用外部程序
版权声明：本文为博主原创文章，转载请附上原文出处链接和本声明怎样使用spark的pipe调用外部程序Spark在RDD上提供pipe()方法。Spark的pipe()方法可以让我们使用任意一种语言实现Spark作业中的部分逻辑，只要它能读写Unix标准的流就行。通过pipe(),你可以将RDD中的各元素从标准输入流中以字符串形式读出，并对这些元素执行任何你需要的操作，然后把结果以字符串的形式写...
2019-08-15 15:58:16
2595
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人