- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 spark算子总结
spark一些算子的demo，为了方便理解把运行结果也给大家看一下，主要是加深对算子的熟练程度与深入的理解Transformation算子：1.map /** * map算子，将RDD中的每个元素传入自定义函数，获取一个新的元素， * 然后用新的元素组成新的RDD。 */ val conf = new SparkConf().setAppName("mapDe...
2018-12-27 17:58:32
346
原创 SparkSQL自定义udf
自定义udf求平均值：测试数据：{"name":"Michael", "salary":3000}{"name":"Andy", "salary":4500}{"name":"Justin", "salary":3500}{"name":"Berta", "sala
2018-12-24 19:17:54
302
1
原创 基于原生hadoop的多租户开发与xpath解析xml
上一篇文章讲到需要修改远程服务器的一些配置文件，其实这个场景需要修改的配置文件是原生hadoop的yarn-site.xml文件，目的是基于原生hadoop实现多租户，多租户其实就是在提交任务时根据不同的用户和组分配不同的计算资源，说白了就是修改一些配置文件，yarn-site.xml会根据yarn.scheduler.fair.allocation.file这个属性找到我们fair-schedu...
2018-12-22 15:19:42
633
原创 java实现scp功能本地与远程服务器之间的文件传输
最近遇到一个场景，需要利用web前端以图形化界面的方式修改远程服务器的一些配置文件，我的思路是这样的，首先从远程服务器上把文件拷贝下来，然后在本地修改完成之后再上传到服务器的原路径，下面直接上代码：从服务器到本地： public static boolean getConfFile(String userName, String password, String ipAddr, S...
2018-12-22 14:14:29
4123
spark-2.4.5-bin-hadoop2.7.tar.gz
2020-06-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人