![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scala
码基
码基
展开
-
scala 动态编译maven
<dependencies> <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>2.11.8</version> </dependency> <dependency>原创 2020-07-28 11:18:58 · 364 阅读 · 0 评论 -
推荐系统的数学模型
推荐系统的数学模型从 矩阵分解 到 推荐系统 (scala实现)词汇:Matrix Factorization 矩阵分解Recommendation System 推荐系统User 用户 Feature 特征 Item 物品简介: 不论有没有觉察到,互联网的搜索模式在近几年已经发生了颠覆性的变化。如果说是十年前搜索模式的代表是百度,那今天的代表就是今日头条。两者的区别在于,百度模式...原创 2020-05-06 18:24:51 · 1210 阅读 · 0 评论 -
spark数据清洗的案例
spark数据清洗的案例基于生产实际的案例练习的内容程序结构代码基于生产实际的案例练习的内容json字符串解析 ;mapPartition;累加器;集合的应用;多目录压缩写入;自定义分区;程序结构代码package pers.machi.sparkRddDataCleansingimport java.utilimport org.apache.hadoop.i...原创 2019-11-11 22:25:25 · 4682 阅读 · 0 评论 -
Scala里trait的多继承
钻石结构scala的trait多继承package pers.machi.learningScalaobject Learning { def main(args:Array[String]): Unit ={ var s = new Son() s.act() }}class Person{ val name: String =...原创 2019-06-14 19:32:31 · 1268 阅读 · 0 评论 -
如何用AkkaActor模拟转账
对于并发问题有两种处理方法,一种就是采用多线程方法;多个线程对共享的资源进行争夺,缺点在于破坏了操作的原子性以及潜在的死锁风险。另一种思路就是消息机制,在要并发的对象中通过传递消息控制其操作,AkkaActor就是基于这一原理的工具。下面试着用AkkaActor模拟上一篇文章中的转账过称。具体说明见注释。package pers.machi.akkaconcurrentimport ak...原创 2019-06-20 10:38:16 · 236 阅读 · 0 评论 -
Spark: The Definitive Guide:Chapter 15. How Spark Runs on a Cluster(Spark是如何在集群上运行的)
Spark权威指南:第15章 Spark是如何在集群上运行的Thus far in the book, we focused on Spark’s properties as a programming interface. We have discussed how the structured APIs take a logical operation, break it up into a...翻译 2019-07-01 22:52:26 · 305 阅读 · 0 评论 -
获取点集中的最短距离——scala,递归,函数式编程,时间复杂度NlogN
package pers.machi.minDistanceimport scala.collection.mutableimport scala.io.Sourceimport scala.collection.mutable.ArrayBufferimport util.control.Breaks._case class Point(id: String, x: Double...原创 2019-07-16 11:48:41 · 425 阅读 · 0 评论 -
大数据maven依赖管理
学习笔记<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="htt...原创 2019-06-13 21:32:04 · 426 阅读 · 3 评论 -
从mysql导出数据到hdfs上
一个简单的示例程序一点点整合,最终的目的是flume->kafka->spark->hbase |---->hivepackage pers.machiimport org.apache.spark.sql.{DataFrame, SaveMode, SparkSession}import org.apa...原创 2019-07-28 12:37:38 · 848 阅读 · 0 评论