yanerhao的专栏

Hadoop的核心就是HDFS和MapReduce，而MapReduce的核心又是Shuffle,Shuffle的主要工作是从Map结束到Reduce开始之间的过程。如图： 可以看到，shuffle阶段又可以分为Map端输出时的shuffle和Reduce端输入的shuffle。 一、Map端输出的shuffle 整个流程我分了四步。简单些可以这样说，每个map task都有

“undefined reference to XXX”是一类挺常见的链接错误，原因通常是链接时找不到声明成extern类型的函数的定义点。不过这次遇到的undefined reference中的XXX函数明明在一个库中定义，而且该库明明已经在命令行用-l指定了，ld –verbose也显示能找到该库文件。 Table of Contents 1 快速解决方案 2 从extern说起 3 ...

一、概况 （一）下载 下载免费版本，注意保留serial number（安装需要） （二）安装 编辑silent.cfg 文件中的选项 安装需要2G的空间，默认的tmp空间不足使用–tmp_dir指定 ./install.sh --silent ./silent.cfg --tmp-dir /dir （三）基本概况 （四）文件结构 二、参数 （一）architecture I...

Intel MKL是多种blas库的一种。相比于open_blas，他的安装过程复杂很多，但据说优化效果也更好。 Interl MKL安装过程一波三折，分别尝试了在mac和两个ubuntu系统（虚拟机16.04，真实机14.04）上的安装，谨记如下： Intel MKL的下载 第一个坑。和众多网上教程所说的不一样，intel官网似乎更改了下载流程。 1. 官网下载链接 2. 点击free do...

机器学习过程中，除了spyder,anaconda也是一种，它是Python的一个开源发行版本，主要面向科学计算。在我看来主要优点是预装了很多第三方库，而且Anaconda中增加了conda install命令，安装新package格外方便，还自带Spyder IDE 和Jupyter Notebook，等。下载：从官网下载：Download Anaconda Now!不过官网速度比较慢，不太推荐...

在进行机器学习或者深度学习进行开发时，使用python语言进行开始感觉不如matlab方便，比如需要在程序中设置断点去看看在图像中找的点对不对,在matlab中我可以在任意位置设置断点,然后在命令窗口输入命令去检查变量状态,这个功能我觉得非常方便。而使用python就让我感觉很不适应,设置断点之后要点debug才能在断点那里停下来(pycharm),而且断点停下之后watch的变量也有好多冗余信息...

需要做到1 安装python，并设置环境变量2 安装easy_install，目录为Python安装目前下例如C:\Python27\Scripts，设置环境变量3 安装pip,cmd进入命令行，然后把目录切换到python的安装目录下的Script文件夹下，运行 easy_inatall.exe pip4 安装sk-learn，easy_install scikit-learn，试试from s...

深度学习入门（转载）我来总结下我从一个小白到在国际顶会上发 paper 的学习经验。深度学习的资料非常多，但这也成为了深度学习坑最大的地方，学习者很容易迷失在各种资料当中，最后只看了个皮毛。所以，我认为学习深度学习一开始就要盯着你挑选的那么一两个资料学习，最多不要同时看三本书。深度学习是一个理论与实践相结合的学科，所以我建议找一本理论和实践都覆盖的书，或者一本书讲理论，然后找些代码做实验。下面来说...

本文呢是根据自己参加中移动垃圾短信基于文本内容识别竞赛而写的大数据与智能计算主页，竞赛描述网址:http://www.wid.org.cn/data/science/player/competition/detail/description/227由于比赛结果不太好，就记录一下用sklearn做文本特征提取这一块吧，当时也参考许多的博文，如Feature extraction - sklear

有助于学习的CSDN博客地址链接———sklearn库学习 1、python sklearn包——grid search笔记 http://blog.csdn.net/u010454729/article/details/50754460 2、scikit-learn 支持向量机算法库使用小结 http://www.cnblogs.com/pinard/p/6117515.htm

（一）推荐系统简介 1.     推荐系统应用前提：（1）信息过载；（2）用户没有明确需求； 2.     推荐系统的组成：前台的展示页面，后台的日志系统，推荐算法； （二）推荐系统的评测 1.      实验方法 （1）    离线实验 优点：1）不需要有对实际系统的控制权；             2）不需要用户参与体验；            

协同过滤 上一节我们主要讨论了典型的推荐算法优缺点，这一节我们详细阐述一下协同过滤算法，通过讨论他们的优缺点得到一个更加深刻的认识。  Collaborative filtering (CF)算法试图找到一种通过用户行为为其提供一种具体建议的模型。他依据用户的行为数据，比如用户对读过书本的评分来判断他们对这本书的喜爱程度，关键问题在于如果有两个用户对其他物品有相似的评分那么其中一个用户对未

（个性化）推荐系统构建三大方法：基于内容的推荐content-based，协同过滤collaborative filtering，隐语义模型(LFM, latent factor model)推荐。这篇博客主要讲基于内容的推荐content-based。 基于内容的推荐1 Content-based System {MMDs中基于user-item profile空间的cosin相似度

推荐系统构建三大方法：基于内容的推荐content-based，协同过滤collaborative filtering，隐语义模型(LFM, latent factor model)推荐，前两者是一个完备推荐系统必有的两大算法，易于混淆，下面将做总结。

使用LFM（Latent factor model）隐语义模型进行Top-N推荐 最近在拜读项亮博士的《推荐系统实践》，系统的学习一下推荐系统的相关知识。今天学习了其中的隐语义模型在Top-N推荐中的应用，在此做一个总结。 隐语义模型LFM和LSI，LDA，Topic Model其实都属于隐含语义分析技术，是一类概念，他们在本质上是相通的，都是找出潜在的主题或分类。这些技术一开始都是在

文本相关性排序 首先明白几个概念： Term，分词以后最小的单位，比如用Golang写一个搜索引擎，分词以后就是用，golang，写，一个，搜索引擎，那么每一个词就是一个Term。 TF(Term Frequency)，Term在文章中出现的频率，就是当前term在文章中出现的频率，就是term次数/总term数，比如上文中的搜索引擎这个term的TF就是1/5，TF越高那么

层次聚类简介

针对多个版本的cuda，其在CMakeLists.txt中寻找的方法为: ​find_package(CUDA REQUIRED) include_directories(${CUDA_INCLUDE_DIRS}) link_directories(${CUDA_LIBRARIES}) 但是如果需要对多个版本的cuda进行查找时，此时可以对FindCUDA.cmake文件进行修改，而Fin...