- 博客(4)
- 收藏
- 关注
RSS订阅原创 spark 画图详解:资源调度再到任务调度
讲说spark的资源调度和任务调度，基本的spark术语，这里不再多说，懂的人都懂了。。。按照数字顺序阅读，逐渐深入理解：以下所有截图均为个人上传，不知道为什么总是显示别人的QQ，好尴尬，无所谓啦，开始吧~~1 宽窄依赖与Stage划分：上熟悉的图： 在 Spark 里每一个操作生成一个 RDD，RDD 之间连一条边，最后这些 RDD 和他们之间的边组成一个有向无环图，这个...
2018-10-11 17:09:06
2802
原创 实用详解spark的读取方法textFile和wholeTextFiles
谈清楚区别，说明道理，从案例start：1 数据准备用hdfs存放数据，且结合的hue上传准备的数据，我的hue截图： 每个文件下的数据： 以上是3个文件的数据，每一行用英文下的空格隔开； 2 测试 sc.textFile（）和sc.wholeTextFiles()的效果testFIle() 如图: ...
2018-10-10 14:56:39
2845
翻译 推荐系统之电商适用
01概述：推荐一直是电商平台的重要流量入口。以往在电商平台上，推荐的场景更多的覆盖在交易的各个环节，比如详情页、购物车、订单及支付等。近年来推荐发展逐渐的多样化，场景上逐渐覆盖到各流量入口，推荐的实体也扩展到活动、类目、运营位等。在电商网站里进行商品推荐，可以提高整个网站商品销售的有效转化率，增加商品销量。通过用户已经浏览、收藏、购买的记录，更精准的理解用户需求，对用户进行聚类、打标签...
2018-09-28 17:34:46
1704
翻译 20-30岁的青春年华，每一步都算数
我的开篇博客没有写技术，没有写自己，想了想应该从一个例子开始，因为这就像5年前的我：--------------------------------------引用--------------Start------------------------------------------------------------------大家好，我是一位来自东北的29岁老男孩，现居深圳。说实话，...
2018-09-20 10:58:25
303
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人