- 博客(11)
- 资源 (52)
- 问答 (6)
- 收藏
- 关注
转载 Spark MLlib架构解析(含分类算法、回归算法、聚类算法和协同过滤)
MLlib目前支持4种常见的机器学习问题:分类、回归、聚类和协同过滤MLlib在Spark整个生态系统中的位置如图下图所示Spark MLlib库MLlib算法库的核心内容实验的数据直接使用官方提供的数据: 测试文件路径:spark-1.6.1-bin-hadoop2.6/data/mllib/1) 分类算法 分类算...
2019-03-30 10:40:07 2090
原创 groupByKey与reduceByKey
贴一段经典的代码: val conf = new SparkConf().setAppName("GroupAndReduce").setMaster("local") val sc = new SparkContext(conf) val words = Array("one", "two", "two", "three", "three", "three") ...
2019-03-23 13:30:52 525
转载 键值对RDD(Pair RDD )
1:map函数把一个普通的RDD转化为pair RDDvar lines = sc.parallelize(List("i love you"))val pairs = lines.map(x=>(x,1))pairs.foreach(println)(i love you,1)2:Pai RDDr的转化操作由于pair RDD中包含二元组,所以需要传递函数应当操作...
2019-03-23 12:34:17 743
原创 System.exit(0) System.exit(1)
System.exit(0)是正常退出程序,而System.exit(1)或者说非0表示非正常退出程序。 System.exit(status)不管status为何值都会退出程序。 和return不同的是: return是回到上一层,而System.exit(status)是回到最上层。 ...
2019-03-16 09:51:54 724
原创 MRUnit测试WordCount
pom<dependency> <groupId>org.apache.mrunit</groupId> <artifactId>mrunit</artifactId> <version>1.1.0</version> <!--<scope>test&
2019-03-05 14:51:52 234
原创 WordCount
pom WordCountMapper.java WordCountReducer.java WordCountDriver.java POM<properties> <hadoop.version>2.6.0</hadoop.version></properties><dependen...
2019-03-04 17:35:25 240
转载 MRUnit的安装和使用
pom<dependency> <groupId>org.apache.mrunit</groupId> <artifactId>mrunit</artifactId> <version>1.1.0</version> <!--<scope>test&
2019-03-01 18:00:04 420
转载 MapReduce练习
1) 求各个部门的总工资2) 求各个部门的人数和平均工资3) 求每个部门最早进入公司的员工姓名4) 求各个城市的员工的总工资5) 列出工资比上司高的员工姓名及其工资6) 列出工资比公司平均工资要高的员工姓名及其工资7) 列出名字以J开头的员工姓名及其所属部门名称8) 列出工资最高的头三名员工姓名及其工资9) 将全体员工按照总收入(工资+提成)从高到低排列,要求列出姓名及其总收入10) 如果每位员工只能和他的直接上司,直接下属,同一部门的同事交流,求任何两名员工之间若要进行信息传递所需要经过
2019-03-01 17:31:03 1718
转载 SVM(支持向量机)
SVM是一种用于二分类的分类算法,通过数据集训练得到的分类器,可以用来预测新的样本的类别(正例或负例两种类别)。SVM也可以用于回归。文本仅讲述支持向量分类器(SVC)。根据数据集的不同,SVM可以分为三类: 线性可分 线性不可分 非线性 下面,以线性可分的情况为例,讲解SVM的概念和基本公式推导过程。一、什么是SVM先以一个二维数据集实例为例,介绍...
2019-03-01 15:44:43 1076
Mybatis日志中的SQL解析工具(网页版).html
2021-04-23
SVNDrv驱动文件.zip
2021-04-20
SVNDrv.sys
2020-08-28
java调用天气预报webservice
2018-04-24
java微信公众号支付
2018-01-27
json解析jar包
2017-12-13
java开发常见api
2017-11-20
feign超时熔断时间
2021-04-21
spark的dataframe究竟知不知道每列的名称和类型各是什么?
2019-01-15
电商支付如何实现呢?
2017-12-07
JSP页面的 src 属性、 action 属性是属于转发还是重定向?
2017-12-04
提交订单,后台有提示信息
2017-11-29
裂变红包是如何实现的
2017-11-29
TA创建的收藏夹 TA关注的收藏夹
TA关注的人