2018年08月_图灵的猫.

11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创常用数学符号大学（包含罗马字符）

元素分别为f关于x、y、z偏导数 [(∂f/∂x), (∂f/∂y), (∂f/∂z)] 或 (∂f/∂x)i + (∂f/∂y)j + (∂f/∂z)k;w的旋度，其元素为[(∂fz /∂y) - (∂fy /∂z), (∂fx /∂z) - (∂fz /∂x), (∂fy /∂x) - (∂fx /∂y)]向量场w的散度，为向量算子∇ 同向量 w的点积, 或 (∂wx /∂x) + (∂wy /∂y) + (∂wz /∂z)拉普拉斯微分算子： (∂2/∂x2) + (∂/∂y2) + (∂/∂z2)

2018-08-28 11:16:10 20059

原创 word2vec的应用场景

对一个新用户，此题基本无解，如果在已知用户关注了几个『大V』之后，相当于知道了当前用户的一些关注偏好，根据此偏好给他推荐和他关注过大V相似的大V，就是一个很不错的推荐策略。同样的，在计算广告中，根据用户的点击广告的点击序列，将每一个广告变为一个向量。word -> 每一个大V就是一个词。

2018-08-28 00:13:58 1997

原创什么是次梯度（次导数）

在说次梯度之前，需要先简单介绍一下导数的概念与定义。导数（英语：Derivative）是微积分学中重要的基础概念。一个函数在某一点的导数描述了这个函数在这一点附近的变化率。导数的本质是通过极限的概念对函数进行局部的线性逼近。对于一般的函数f(x)f(x)，其导数为：如果不使用增量，f(x)f(x)在 x0x0处的导数也可以定义为：当定义域内的变量 xx趋近于 x0x0时，

2018-08-20 21:08:18 17121 2

原创一个有趣的说法：多层神经网络的致命问题与过拟合

Bengio在一书中举了一个有趣的例子。他说：最近有人表示，他们用传统的深度神经网络把训练error降到了0，也没有用你的那个什么破Pre-Training嘛！然后Bengio自己试了一下，发现确实可以，但是是建立在把接近输出层的顶隐层神经元个数设的很大的情况下。于是他把顶隐层神经元个数限到了20，然后这个模型立马露出马脚了。无论是训练误差、还是测试误差，都比相同配置下的Pre-Training方法差许多。也就是说，顶层神经元在对输入数据直接点对点记忆，而不是提取出有效特征后再记忆。

2018-08-14 19:17:02 713

原创深度学习中的“卷积”与数学中的“卷积”有何不同

在乘数不大时这么干显得有点蛋疼，不过要计算很长很长的两个数乘积的话，这种处理方法就能派上用场了，因为你可以用快速傅立叶变换 FFT 来得到卷积，比示例里的硬乘要快。我们有的时候会希望跳出核中的一些位置来降低计算的开销（相应的代价是提取特征没有先前那么好了）我们就把这个过程看作对全卷积函数输出的。注意第二个等号右边每个括号里的系数构成的序列 (14,34,14,4)，实际上就是序列 (2,4) 和 (7,3,1) 的卷积。两个多项式乘积的在基上展开的系数就是两个多项式各自在基上展开系数的卷积。

2018-08-13 19:40:37 6787

原创对全连接层（fully connected layer）的通俗理解

全连接层（fully connected layers，FC）在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使用中，全连接层可由卷积操作实现：对前层是全连接的全连接层可以转化为卷积核为1x1的卷积；而前层是卷积层的全连接层可以转化为卷积核为hxw的全局卷积，h和w分别为前层卷积结果的高和宽。全连接的核心操作就是矩阵向量乘积 y = Wx。

2018-08-03 11:58:41 261518 27

转载多线程三大概念：并发并行，阻塞，同异步

1. 阻塞，非阻塞首先，阻塞这个词来自操作系统的线程/进程的状态模型中，如下图：一个线程/进程经历的5个状态，创建，就绪，运行，阻塞，终止。各个状态的转换条件如上图，其中有个阻塞状态，就是说当线程中调用某个函数，需要IO请求，或者暂时得不到竞争资源的，操作系统会把该线程阻塞起来，避免浪费CPU资源，等到得到了资源，再变成就绪状态，等待CPU调度运行。阻塞调用是指调用结果返回...

2018-08-02 19:22:53 707

原创 Python机器学习基础教程（一）：简介

关于这本书，其实就是一个非常实用的scikit-learn使用教程，比官方文档讲的要好而且是中文翻译，基本上机器学习该用到的库都讲到了。建议大家在阅读前至少掌握入门级的机器学习算法知识，因为这本书不讲算法和数学，只教你用Sklearn调参和模型权衡。

2018-08-02 19:13:46 6298

原创异常检测算法：孤立森林(Isolation Forest)

比如常用的统计方法，基于分类的方法，和基于聚类的方法，这些传统算法通常是对正常的数据构建一个模型，然后把不符合这个模型的数据，认为是异常数据。预测的过程就是把测试数据在iTree树上沿对应的条件分支往下走，直到达到叶子节点，并记录这过程中经过的路径长度h(x)，即从根节点，穿过中间的节点，最后到达叶子节点，所走过的边的数量(path length)。从上面的评价中来看，iForest算法在实际的应用中应该具有不错的效果，得益于随机森林的思想，能快速处理大规模的数据，在当前的大数据环境下，应该很受欢迎。

2018-08-01 13:24:36 25107 2