spark
fengzhimohan
这个作者很懒,什么都没留下…
展开
-
Linux/Centos安装完python3还是提示python: command not found
因安装的Python为Python3版本,因此直接输入python是会报错,可以输入python3即可。现在教大家怎么修改python3变为python,即输入python不会报错:查看python3路径 which python3更改默认版本alternatives --set python /usr/bin/python3如果没有权限,可以加入sudo之后在输入python就不会报错...原创 2022-01-21 16:16:49 · 9830 阅读 · 0 评论 -
Spark使用Java读取mysql数据和保存数据到mysql
基于java应用需要利用Spark读取mysql数据进行数据分析,然后将分析结果保存到mysql中。原创 2017-11-07 20:17:39 · 9541 阅读 · 13 评论 -
基于Java的Spark WordCount编程实现
刚开始接触Spark编程,以WordCount作为入门编程实例,WordCount是用于统计单词出现的次数。本文参考http://blog.csdn.net/gongpulin/article/details/51534754,不同的是本文以Java语言实现实例的编程实现。a、案例分析 对于词频数统计,用 Spark 提供的算子来实现,我们首先需要将文本文件中的每一行转化成一个个的单词, 其次是对原创 2017-11-13 19:24:55 · 1200 阅读 · 0 评论 -
基于Java实现Spark统计身高的实例
例子仍然引用:https://www.ibm.com/developerworks/cn/opensource/os-cn-spark-practice1/a. 案例描述本案例假设我们需要对某个省的人口 (10万) 性别还有身高进行统计,需要计算出男女人数,男性中的最高和最低身高,以及女性中的最高和最低身高。本案例中用到的源文件有以下格式, 三列分别是 ID,性别,身高 (cm),格式如下: b.原创 2017-11-17 19:24:11 · 6478 阅读 · 2 评论 -
基于Java的spark年龄统计实例编程实现
本文的实例引用至 https://www.ibm.com/developerworks/cn/opensource/os-cn-spark-practice1/网上很多基于scala实现spark实例编程,由于项目需要用到java,为此利用java来实现spark的学习并应用到实例中来。a. 案例描述该案例中,我们将假设我们需要统计一个 10 万人口的所有人的平均年龄,当然如果您想测试 Spark原创 2017-11-14 21:08:44 · 2961 阅读 · 1 评论