demo
我阳某人的博客
我为你创造了世界,但你依然沉睡在你仅有的梦中....
展开
-
Scala 之类型约束——上下文界定(Context Bounds)
/** * 1) 要求:使用上下文界定+隐式参数的方式,比较两个Person对象的年龄大小 * 2) 要求:使用Ordering实现比较 */ object ContextBounds { //定义一个隐式值 implicit val personCompartor = new Ordering[Person] { override def compare(p1: ...原创 2019-03-04 22:50:27 · 1030 阅读 · 0 评论 -
Spark 之wordCount demo入门
package spark import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.rdd.RDD /**linux 上的写法 * sc.textFile("input").flatMap(split(" ")).map(_,1).reduceNBykey(_+_).collect * ...原创 2019-03-05 22:54:03 · 398 阅读 · 0 评论 -
SparkCore之MySql 读写数据
支持通过Java JDBC访问关系型数据库。需要通过JdbcRDD进行,示例如下: (1)添加依赖 <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5. **(2...原创 2019-03-14 10:23:32 · 925 阅读 · 0 评论 -
RDD之双value类型交互
spark 双value 类型交互 union(otherDataset) 案例 1. 作用:对源RDD和参数RDD求并集后返回一个新的RDD 2. 需求:创建两个RDD,求并集 union() 源码: /** * Return the union of this RDD and another one. Any identical elements will appear mult...原创 2019-03-06 23:49:01 · 273 阅读 · 0 评论