Scala
MG羽白
这个作者很懒,什么都没留下…
展开
-
使用git bash 操作spark shell 无法删除
在使用git bash 操作spark shell BackSpace和Delete键均无法删除 通过在git bash中设置,勾选Delete sends DEL可以使用delete键进行删除原创 2018-09-28 19:14:32 · 3692 阅读 · 0 评论 -
在scala中连接mysql时出现错误:Establishing SSL connection without server's identity verification is not recomm
在Scala中连接mysql时,输入命令: scala> rebuyDF.write.mode("append").jdbc("jdbc:mysql://localhost:3306/dbtaobao", "dbtaobao.rebuy", prop) 出现错误如下: Wed Nov 28 20:41:12 CST 2018 WARN: Establishing SSL connect...原创 2018-11-28 20:50:23 · 1464 阅读 · 0 评论 -
Spark GraphX 学习笔记——Dijstra最短路径算法
1. Scala中的Dijstra最短路径算法 import org.apache.spark.graphx._ def dijkstra[VD](g:Graph[VD,Double], origin:VertexId): Graph[(VD,Double), Double] = { /** * 1. 初始化 * 遍历图的所有节点 * 变为(false, Double.Max...原创 2019-04-22 14:54:14 · 2463 阅读 · 0 评论 -
Spark GraphX 学习笔记——旅行推销员问题:贪心算法
旅行推销员问题: 在一个无向图中找到一个经过每一个顶点的最短路径 1. 贪心算法 对于旅行推销员问题而言,贪心算法是最简单的,即在每次迭代时选择最接近的最短边,但不做进一步搜索 2. 贪心算法优化 贪心算法可在不用增加太多代码的情况下,用不同的起始顶点重新运行整个算法,不断迭代,挑选出一个到达所有顶点并且最短的解决方案,用这种方法可以改善贪心算法。 3. 贪心算法scala代码实现:...原创 2019-04-22 15:32:03 · 2113 阅读 · 1 评论 -
Spark GraphX 学习笔记——影片推荐:SVDPlusPlus (监督学习)
影片推荐: SVDPlusPlus (监督学习) 推荐系统就是监督学习的一个例子,因为它提供了 一些影片评分的数据,并要求预测未知的用户对影片的评分。一般有两种主流的方法来解决这个问题。 1)第一种主流方法比较直接和简单 : 对于需要处理的用户 , Pat, 找到和他有相同爱好的其他用户,然后给 Pat 推荐这些用户喜欢的影片。这就是 Netflix 公司早期的推荐策略,有时被称为邻居...原创 2019-04-23 19:18:47 · 2664 阅读 · 0 评论