分布式
十四说四十、
一只努力搬砖的985小硕
展开
-
Spark- WordCount 总体流程
原创 2018-12-22 23:03:18 · 160 阅读 · 0 评论 -
Spark-分组TOPN算法:
该数据集都为:“http://bigdata.edu360.cn/laozhou” 这个样子,要求的就是最受欢迎的老师分组TOPN算法:object FavTeacher { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("FavTeacher").setMaster("l...原创 2018-12-22 23:08:25 · 361 阅读 · 0 评论 -
Spark-分组TOPN算法
该数据集都为:“http://bigdata.edu360.cn/laozhou” 这个样子,需求是找到每个学科下最受欢迎的老师方法一:/** * 数据放到scala 集合里面进行操作 */object GroupFavTeacher_1 { def main(args: Array[String]): Unit = { val conf = new SparkConf(...原创 2018-12-22 23:12:55 · 293 阅读 · 0 评论 -
java.net.BindException: 无法指定被请求的地址: Service 'sparkDriver' failed after 16 retries!
就是你的主机IP 地址跟 /etc/hosts 中的地址不一样了可以看看再linux 中 运行 ifconfig命令 查看IP 再 在命令行输入 sudo vi /etc/hpsts原创 2018-12-18 13:50:28 · 3370 阅读 · 1 评论