- 博客(14)
- 问答 (1)
- 收藏
- 关注
原创 排jar包的依赖冲突的方法
今天排了一天的jar包冲突,头一次做这种操作,刚开始各种蒙,幸运的是总算把问题解决了,记录一下步骤:1、第一步当然是看日志了,看日志报的什么错误,jar包冲突常见的报错是nosumethod,然后会给出具体的方法与具体的类2、确定了冲突的类后,要找到这个类是在哪个包里的了。在idea中command + n可以搜索类,根据日志确定出这个类在哪个包里,这个可能会遇到不同包里重名的类,但是
2017-10-25 19:22:31
794
原创 Maven入门教程(内含实例)
maven介绍 Maven是一个项目管理工具和构建自动化工具,它包含了一个项目对象模型(Project Object Model),一组标准集合,一个项目生命周期(Project Lifecycle),一个依赖管理系统(Dependency Management System),和用来运行定义在生命周期阶段(phase)中插件(plugin)目标(goal)的逻辑。
2017-05-28 17:54:58
533
原创 浅析Ordered与Ordering的区别
在scala.math包中,有两个用于实现比较的接口,Ordered与Ordering。实现了Ordered接口的类具备了比较的特性;而实现了Ordering接口的类提供了某种类型用于比较的方法。 Ordered要实现的方法: def compare(that: A): Int Ordering要实现的方法:def compare(x: T, y: T): Int 此外Ordered还提供了一个
2017-02-13 19:30:51
3082
原创 浅析Spark的RangePartitioner
Spark版本推进到2.0,其在shuffle时提供的partitioner主要有两种,HashPartitioner与RangePartitioner。本文主要对RangePartitioner的实现作一简单说明。
2017-02-10 14:42:18
2325
原创 浅析sortByKey算子
一、简介spark中用于排序的算子主要有两个,sortByKey与sortBy,其中sortBy是引用sortByKey来实现的。下面主要对sortByKey算子进行分析,该方法的实现代码如下: def sortByKey(ascending: Boolean = true, numPartitions: Int = self.partitions.length) : RDD[(K, V)] =
2017-02-10 12:55:41
3685
空空如也
SparkStreaming整合Kakfa后,生成DStream里,rdd数量的问题
2016-12-18
TA创建的收藏夹 TA关注的收藏夹
TA关注的人