厄尔尼诺的博客

引用自：https://zhuanlan.zhihu.com/p/39684349 训练一个神经网络意味着要输入训练样本并且不断调整神经元的权重，从而不断提高对目标的准确预测。每当神经网络经过一个训练样本的训练，它的权重就会进行一次调整。 vocabulary的大小决定了我们的Skip-Gram神经网络将会拥有大规模的权重矩阵，所有的这些权重需要通过我们数以亿计的训练样本来进行调整，这是非常消耗计算资源的，并且实际中训练起来会非常慢。 负采样（negative sampling）解决了这个问题，它是用来提高

人工智能基本知识

3.第三章样本空间：随机试验所有结果构成的集合。事件空间：由事件A构成，事件由实验的可能结果构成，为样本空间的子集。概率公理：概率公理为事件空间到实数的函数映射，其满足如下属性：（1）对于事件空间中的所有事件，均有P(A) ≧ 0（2）对于样本空间的总概率为1。（3）若A1，A2，……彼此之间没有交集，则有： 性质：若A∈B，则有P(A) ≦ P(B)。P(A∩B)=min(P(A),P(B))P(A∪B) ≦ P(A)+P(B)P(ΩA) = 1-P(A)总

凸集：上述公式意味着我们若取集合C中的两个元素，并在元素之间画一条线段，则该线段上的所有元素也属于C。θx+（1-θ）y∈C，称为点 x 和 y 的凸组合。半正定矩阵：所有的半正定矩阵的集合，通常称为半正定圆锥体。凸函数： f : Rn → RJensen不等式：次水平集：凸函数产生了一类重要的凸集称为 α-次水平集，给定凸函数 f : Rn → R及实数α∈R，α次水平集定义如下：x ∈ D( f ) : f (x) ≤ α也就是说，α-次水平集为所有满足不等式f（x）≤α，为了显示该

import re #匹配的库import requestsheaders = { 'Cookie':'UM_distinctid=16828a999356ee-01dbffc4bd71a8-33504275-144000-16828a99936840; CNZZDATA1255357127=1573548009-1546867979-%7C1546921578', 'Hos...

朴素贝叶斯原理：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。综上可得整个朴素贝叶斯分类分为三个阶段：第一阶段——准备工作阶段，主要工作是根据具体情况确定特征属性，并对每个特征属性进行适当划分，然后由人工对一部分待分类项进行分类，形成训练样本集合。这一阶段的输入是所有待分类数据，输出是特征属性和训练样本。第二阶段——分类器训练阶段...

曼哈顿距离、欧式距离、夹角余弦、卡尔德相似系数、卡尔顿距离【决策规则——多数表决法、加权表决法】曼哈顿距离曼哈顿距离又叫出租车距离，计算距离最简单的方法是曼哈顿距离。假设，先考虑二维情况，只有两个乐队 x 和 y，用户A的评价为(x1,y1)，用户B的评价为(x2,y2)，那么，它们之间的曼哈顿距离为欧式距离欧式距离又称欧几里得距离或欧几里得度量（Euclidean Metric...

深层神经网络的搭建中，我们提到关于超参数权值的初始化至关重要。今天我们就来谈谈其重要性以及如何选择恰当的数值来初始化这一参数。1. 权值初始化的意义     一个好的权值初始值，有以下优点:加快梯度下降的收敛速度增加梯度下降到最小训练误差的几率2. 编写代码      为了理解上面提及的意义，下面通过比较来进行进一步地解释。2.1 数据...

1、神经网络中权值绝对值尽可能小的原因是什么？为什么不直接设置为0？2、CNN（卷积神经网络）中梯度梯度不稳定是指什么？梯度消失的原因是什么？如何防止这种情况的出现？3、损失函数中采用交叉熵而不是均方差的原因是什么？4、BP反向传播的一些特点5、监督学习、无监督学习6、KNN、K—means一、关于神经网络中超参数初始化问题，详细请参考这篇博客二、不稳定是指：梯度消失跟梯度爆炸...

本文是Deep Learning 之 最优化方法系列文章的Momentum（动量）方法。主要参考Deep Learning 一书。 整个优化系列文章列表： Deep Learning 之 最优化方法 Deep Learning 最优化方法之SGD Deep Learning 最优化方法之Momentum（动量） Deep Learning 最优化方法之Nesterov(...

先验概率      先验概率（prior probability）是指根据以往经验和分...

<div id="post_detail"> 机器学习（一）——K-近邻（KNN）算法      最近在看《机器学习实战》这本书，因为自己本身很想深入的了解机器学习算法，加之想学python，就在朋友的推荐之下选择了这本书进行学习。 一 . K-近邻算法（KNN）概述&nbs...

卷积神经网络（Convolutional Neural Network，CNN）是一种前馈神经网络，它...

注：此博文是转载于它处，注释部分也为转载# -*- coding: utf8 -*-'''Created on 2015-06-22@author: Lockvictor'''import sys, random, mathimport osfrom operator import itemgetterrandom.seed(0)class ItemBasedCF(): ...

基于用户基本思路：当用户A需要个性化推荐的时候，可以先找到和他兴趣相似的用户群体G，然后把G所喜欢的且A没有听说过或没有见过的推荐给用户A。方法：1、找到与用户A兴趣相似的用户群体2、G所喜欢的且A没有听说过或没有见过的推荐给用户A。过程：1、 发现兴趣相似的用户通常用 Jaccard 公式或者余弦相似度计算两个用户之间的相似度。设 N(u) 为用户 u 喜欢的物品集合，N(...

一、贝叶斯公式定义贝叶斯定理是关于随机事件 A 和 B 的条件概率：其中P(A|B)是在 B 发生的情况下 A 发生的可能性。在贝叶斯定理中，每个名词都有约定俗成的名称：P(A)是 A 的先验概率，之所以称为“先验”是因为它不考虑任何 B 方面的因素。P(A|B)是已知 B 发生后 A 的条件概率，也由于得自 B 的取值而被称作 A 的后验概率。P(B|A)是已知 A 发生后 B...

一、贝叶斯公式二、后验概率，最大后验概率三、激活函数四、BP算法思想五、损失函数（均方误差mse、自定义损失函数、交叉熵）六、K近邻算法（曼哈顿距离、欧式距离、夹角余弦、卡尔德相似系数、卡尔顿距离【决策规则——多数表决法、加权表决法】七、矩阵分解 (MF)八、正则化（L1、L2正则化）九、过拟合与欠拟合十、神经网络，反向BP十一、动量因子...

实验中用到的数据在我的上传中心有1.什么是KNNK近邻算法（K-Nearest Neighbour，K-NN）是一种基本分类与回归方法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的K个最相似（即特征空间中最邻近）的样本中的大多数属于某一个类别，则该样本也属于这个类别。K近邻算法简单，直观。给定一个训练数据集，对于新的输入实例，在训练数...

CNN反向传播算法总结　　　　现在我们总结下CNN的反向传播算法，以最基本的批量梯度下降法为例来描述反向传播算法。输入：m个图片样本，CNN模型的层数L和所有隐藏层的类型，对于卷积层，要定义卷积核的大小K，卷积核子矩阵的维度F，填充大小P，步幅S。对于池化层，要定义池化区域大小k和池化标准（MAX或Average），对于全连接层，要定义全连接层的激活函数（输出层除外）和各层的神经元个数。梯度迭...

ItemCF：ItemCollaborationFilter，基于物品的协同过滤算法核心思想：给用户推荐那些和他们之前喜欢的物品相似的物品。比如，用户A之前买过《数据挖掘导论》，该算法会根据此...

翻译|Gradient Descent in Pythonimport numpy as npimport matpl...

下面我就一个简单的例子来说明一下自己对于神经网络的理解和认识。输入层包含两个输入项，隐藏层包含两个项（隐含层为一层），输出层为两个。个人理解（文字）相应代码import numpy as npimport matplotlib.pyplot as plt import mathx=np.array([0.05,0.10])#输入层w1=np.array([[0.15,0.25...

在看了大佬的博客以后我再这里来说一下自己的理解，有不对的地方希望大家能够指正，谢谢一、决策树的分类决策树按照数据类型可以分为分类决策树跟回归决策树，二者的区别在于：分类决策树是对离散的数据变量来进行决策的，回归决策树是对连续的数据变量来进行决策的。二、决策树的生成过程1、进行特征选择对已有数据根据数据本身的一些特征然后从中提取出可以划分数据的类别，比如性别、年龄等等。2、生成决策树...

首先我要吐槽一下，看程序的过程中遇见了yield这个关键字，然后百度的时候，发现没有一个能简单的让我懂的，讲起来真TM的...

1、卷积神经网络计算公示：卷积层与池化层输出矩阵大小C=[(T-F+2*P)/S]+1C为输出矩阵尺寸，T为待处理矩阵的尺寸，F为滤波器矩阵尺寸，P为填充矩阵（pooling），S为步长2、MLP是完全连通的有向图，连接数是输入层和隐藏层中节点数的乘积。[包含偏执项]3、协同过滤包括：基于用户的协同过滤、基于项目的协同过滤、基于模型的协同过滤4、神经网络中偏差跟权重问题：即使所有的偏...

正则化项L1和L2的区别 https://blog.csdn.net/jinping_shi/article/details/52433975https://blog.csdn.net/zouxy09/article/details/24971995一、概括：L1和L2是正则化项，又叫做罚项，是为了限制模型的参数，防止模型过拟合而加在损失函数后面的一...

一、分类指标1、准确率和召回率准确率（Precision）是你给出的正确结果数占你给出的所有结果数的比例。召回率（Recall）是你给出的正确结果数占所有正确结果数的比例。比如：池塘里共有200生物，其中鱼140，虾30，乌龟30。假如你第一次捕到70鱼，20虾，10乌龟。其中鱼是我们所关注的重点，那么此时准确率跟召回率结果如下：准确率：70 /（70+20+10）=70%召回率：7...

卷积神经网络（CNN）组成：输入层、卷积层、激活函数、池化层、全连接层卷积神经网络中重要概念就：深度：深度大小就等于所用的filter的个数[卷积层]，也可以理解为提取的层数。权值共享：给一张输入的图片用同一个filter去提取，filter里面的数据叫做权重，图中每个位置都是由同一个filter扫描的因此权重一样，也就是权值共享。卷积：特征提取池化：特征压缩，压缩方法有max法和me...

 有如下R(5,4)的打分矩阵：（“-”表示用户没有打分）其中打分矩阵R(n,m)是n行和m列，n表示user个数，m行表示item个数那么，如何根据目前的矩阵R（5,4）如何对未打分的商品进行评分的预测（如何得到分值为0的用户的打分值）？——矩阵分解的思想可以解决这个问题，其实这种思想可以看作是有监督的机器学习问题（回归问题）。矩阵R可以近似表示为P与Q的乘积：R（n,m）≈...