大数据,spark
黑白调92
在校学生。。
展开
-
spark中通过jdbc读取和存储数据
本文为spark下通过jdbc从mysql读取数据和将计算结果存入到mysql的例子,具体代码如下:package com.cxd.sql;import java.util.HashMap;import java.util.Map;import org.apache.spark.SparkConf;import org.apache.spark.sql.Dataset;i原创 2017-09-26 15:30:58 · 6224 阅读 · 1 评论 -
Spark中RDD转换成DataFrame的两种方式(分别用Java和scala实现)
Spark中RDD转换成DataFrame的两种方式(分别用Java和scala实现)原创 2017-06-25 23:49:04 · 12591 阅读 · 1 评论 -
spark版WordCount(Java),将输出结果排序,并去除输出文件中的括号。
本文为spark版的WordCount(java),主要实现了三个功能: 1.对单词出现的频数进行统计 2.对输出结果中单词的出现的频数从大到小进行了排序 3.去除了输出文件中的括号 具体代码如下: package com.cxd.core;import java.util.Arrays;import org.apache.spark.Sp原创 2017-09-26 15:48:01 · 2631 阅读 · 1 评论 -
Spark2.2.0分布式集群搭建教程
本文为hadoop3.0.0-beta1下搭建spark-2.2.0分布式集群的教程,并将存放元数据的derby数据库改为了mysql。原创 2017-10-19 22:18:58 · 1434 阅读 · 0 评论 -
使用Spark对数据进行分组排序(Java和Scala实现)
对数据进行分组排序,首先对数据进行分组,然后对该组下的数据进行排序。1.首先准备数据集,本次的数据集如下。Chinese,90Math,93English,84Computer,89Chinese,83English,79Math,89Computer,88Chinese,86English,82Math,94Computer,812.放码 package com.cxd.s...原创 2018-07-13 15:53:01 · 8311 阅读 · 1 评论