![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark-core
LJ2415
这个作者很懒,什么都没留下…
展开
-
根据ip地址计算归属地
package utilsimport java.sql.DriverManagerobject UtilsDemo { /** * 定义一个ip转换的成十进制 * @param ip * @return */ def ip2Long(ip:String):Long={ val fragments = ip.split("[.]") ...原创 2018-12-12 19:59:35 · 966 阅读 · 0 评论 -
java 版wordcount
package javaTest;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import...原创 2018-12-13 13:52:05 · 254 阅读 · 1 评论 -
java 版spark 中的map算子的使用
import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.Function;import org.apache.s...原创 2018-12-13 13:53:46 · 2976 阅读 · 0 评论 -
Spark-Core自定义排序规则
1.利用case特性,定义一个类,在类中进行排序package day02import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object UserOrdered01 { def main(args: Array[String]): Unit = { val co...原创 2018-12-14 12:02:14 · 270 阅读 · 0 评论 -
scala spark-core 综合练习
package day01import scala.util.matching.Regex/** * 提供一些操作Apache Log的工具类供SparkCore使用 */case class ApacheAccessLog( ipAddress: String, // IP地址 ...原创 2018-12-14 20:17:02 · 567 阅读 · 0 评论 -
spark-core 综合练习(广播变量,join的使用)
package day04import org.apache.spark.broadcast.Broadcastimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}/** * Desc: * 数据说明: * users.dat ---UserID::Gender...原创 2018-12-20 18:56:50 · 1178 阅读 · 0 评论 -
统计每个学科最受欢迎的老师前N名
package day02import java.net.URLimport org.apache.spark.rdd.RDDimport org.apache.spark.{Partitioner, SparkConf, SparkContext}import scala.collection.mutable/** * 统计每个学科最受欢迎的老师前N名 * *利用T...原创 2018-12-11 22:13:19 · 478 阅读 · 0 评论