- 博客(10)
- 资源 (5)
- 问答 (2)
- 收藏
- 关注
RSS订阅转载 spark应用程序的运行架构（简单到复杂）
几个基本概念：（1）job：包含多个task组成的并行计算，往往由action催生。（2）stage：job的调度单位。（3）task：被送到某个executor上的工作单元。（4）taskSet：一组关联的，相互之间没有shuffle依赖关系的任务组成的任务集。一个应用程序由一个driver program和多个job构成。一个job由多个stage组成。
2016-05-27 17:57:42
680
转载 Spark 【数据挖掘平台介绍】 - Spark 1.1.0（看范式粒度）
一：Spark Spark已正式申请加入Apache孵化器，从灵机一闪的实验室“电火花”成长为大数据技术平台中异军突起的新锐。本文主要讲述Spark的设计思想。Spark如其名，展现了大数据不常见的“电光石火”。具体特点概括为“轻、快、灵和巧”。轻：Spark 0.6核心代码有2万行，Hadoop 1.0为9万行，2.0为22万行。一方面，感谢
2016-05-24 21:15:15
1070
转载 【utorrent】ubuntu 安装utorrent
这里我测试的是utorrent官网里for ubuntu13.04版本，我的系统是14.04 LTS，亲测可用。在linux下 ，utorrent现在支持web UI，下面给出我的安装使用方法：1.下载utorrent for linux：http://www.utorrent.com/downloads/complete?os=linux2.得到文件：utor
2016-05-13 18:33:06
4456
转载 推荐算法之潜在因子(Latent Factor)算法
本文转自http://blog.163.com/l_greatsea/blog/static/204986044201531792747661/，所有权力归原作者所有。 本算法整理自知乎上的回答@nick lee 应用领域：“网易云音乐歌单个性化推荐”、“豆瓣电台音乐推荐”等。这种算法是在NetFlix（没错，就是用大数据捧火《纸牌屋》的那家公司）的推荐算法竞赛中获奖的
2016-05-12 21:47:43
12581
2
转载 TOP 10 开源的推荐系统简介
本文转自http://www.oschina.net/news/51297/top-10-open-source-recommendation-systems，所有权力归原作者所有。最 近这两年推荐系统特别火，本文搜集整理了一些比较好的开源推荐系统，即有轻量级的适用于做研究的SVDFeature、LibMF、LibFM等，也有重 量级的适用于工业系统的 Mahout、Oryx、EasyRe
2016-05-12 21:31:53
777
转载 Matrix Factorization: A Simple Tutorial and Implementation in Python
本文转自http://www.quuxlabs.com/blog/2010/09/matrix-factorization-a-simple-tutorial-and-implementation-in-python/，所有权力归原作者所有。There is probably no need to say that there is too much information on the
2016-05-12 20:42:45
1462
转载 Spark MLlib中的协同过滤
本文转自http://www.tuicool.com/articles/fANvieZ，所有权力归原作者所有。本文主要通过Spark官方的例子，理解ALS协同过滤算法的原理和编码过程。协同过滤协同过滤 常被应用于推荐系统，旨在补充用户-商品关联矩阵中所缺失的部分。MLlib当前支持基于模型的协同过滤，其中用户和商品通过一小组隐语义因子进行表达，并且这些因子也用于预测缺失的元
2016-05-12 19:48:06
2667
转载 ubuntu软件源更新及其中会遇到的各种问题（以下ID的密钥没有可用的公钥）
本文转自http://blog.csdn.net/humanspider1/article/details/41441679，所有权力归原作者所有，重点看以下ID的密钥没有可用的公钥的解决办法。ubuntu如果下载软件慢，原因可能是下载源是国外或资源不多，可改变下载源地址，可按如下方法更改打开/etc/apt/sources.list，添加以下国内软件源deb http://m
2016-05-12 09:40:33
4315
转载 机器学习相关——协同过滤
本文转自http://www.cnblogs.com/luchen927/archive/2012/02/01/2325360.html，仅供学习所用，所有权力归原作者所有。在现今的推荐技术和算法中，最被大家广泛认可和采用的就是基于协同过滤的推荐方法。本文将带你深入了解协同过滤的秘密。下面直接进入正题1 什么是协同过滤协同过滤是利用集体智慧的一个典型方法。要理解什么是协同过
2016-05-10 10:37:44
426
转载 Ubuntu 14.04 安装 WPS
本文转自http://www.linuxidc.com/Linux/2014-04/100499p2.htm，所有权力归原作者所有。经测试在64位Ubuntu14.04下也可按此方法安装，或者在已安装旧版本的情况下升级安装。在32位Ubuntu 14.04 安装 WPS，WPS For Linux版除延续Windows版相同体验外，更加尊重Linux用户特定的使用习惯；深度兼容；自
2016-05-05 15:44:49
1448
PHP pgsql驱动文件
2022-05-13
feralpacket.ini.txt
2020-05-13
idea-plugin.zip
2019-11-18
对Spark RDD中的数据进行处理
2015-07-17
TA创建的收藏夹 TA关注的收藏夹
TA关注的人