- 博客(86)
- 收藏
- 关注
RSS订阅原创 CS224N笔记——反向传播
目录两层神经网络的反向传播电路图解释流动图解释实际神经网络中的误差信号 两层神经网络的反向传播 将输出s展开：对求偏导：矩阵形式：其中，对求偏导：其中，综上，任意层的通用公式为： 电路图解释 反向传播时每通过一级，就用链式法则乘以这一级的导数。其中，sigmoid相关的元件可以合并为...
2019-05-14 15:44:52
229
转载 Python机器学习库——Sklearn
目录简介常规使用模式sklearn中的数据展示sklearn model中常用属性与功能数据标准化交叉验证过拟合问题保存模型小结 简介 Scikit-learn(sklearn)是机器学习中常用的第三方模块，对常用的机器学习方法进行了封装，包括回归（Regression）、降维（Dimensionality Reduction）、分类（Classfi...
2019-05-11 17:40:59
7284
原创 利用词袋模型和TF-IDF实现Large Movie Review Dataset文本分类
目录文本分类简介数据集介绍数据预处理提取特征训练分类器模型评估 文本分类简介 文本分类是指在给定分类体系，根据文本内容自动确定文本类别的过程。最基础的分类是归到两个类别中，称为二分类问题，例如电影评论分类，只需要分为“好评”或“差评”。分到多个类别中的称为多分类问题，例如，把名字分类为法语名字、英语名字、西班牙语名字等。一般来说文本分类大致分为如下几个步骤：...
2019-05-10 17:04:07
3228
原创 CS224N刷题——Assignment1.3_word2vec
Assignment #13.word2vec(a)假设已有一个与skip-gram模型的中心词c对应的预测词向量，并使用word2vec模型中的softmax函数进行词预测：其中w表示第w个词，是词汇表中所有单词的“输出”词向量。假设在预测中使用交叉熵损失函数，单词o是预期单词（在one-hot标签向量中的第o个元素是1），推导关于的梯度。提示：使用问题2中的符号会有帮助。例...
2019-05-06 21:53:02
443
原创 CS224N笔记——Word Window分类与神经网络
目录分类的背景分类问题中更新词向量Window classification神经网络 分类的背景 关于分类给定训练集：其中是一个d维向量，是一个c维one-hot向量，N是训练集样本数。在传统的机器学习方法中，往往通过诸如逻辑斯谛回归和SVM找到分类决策边界：softmax细节把给定输入x时的输出为y的概率计算分成两步：(1)用（W的第y行）乘...
2019-05-03 14:37:30
580
转载 Numpy高级
目录数学函数数学运算统计函数其他函数矩阵库线性代数 数学函数 1.三角函数# 三角函数# 正弦值numpy.sina = np.array([0, 30, 45, 60, 90])print("正弦值:", np.sin(a*np.pi/180))# 余弦值numpy.cosprint("余弦值:", np.cos(a*np.pi/180))...
2019-05-02 20:13:17
721
转载 GloVe推导过程
GloVe GloVe使用了词与词之间的共现（co-occurrence）信息。我们定义X为共现词频矩阵，其中元素为词j出现在词i的环境（context）的次数。这里的“环境”有多种可能的定义。举个例子，在一段文本序列中，如果词j出现在词i左边或者右边不超过10个词的距离，我们可以认为词j出现在词i的环境一次。令为任意词出现在词i的环境的次数，那么，为词j出现在词i的环境的概率。这一概...
2019-05-02 18:01:43
683
转载 Python数据可视化库——Matplotlib
Matplotlib是一个非常强大的画图工具，对数据的可视化起着很大的作用。Maplotlib可以画图线图，散点图，等高线图，条形图，柱形图，3D图形，图形动画等。目录基础用法figure图像设置坐标轴1设置坐标轴21.替换下标2.设置边框属性3.调整移动坐标轴legend图例Annotation标注tick能见度画不同的图形1.scatter散...
2019-05-01 17:39:28
593
1
原创 CS224N笔记——高级词向量表示
目录复习近似：skip-gram模型和负采样其他方法综合两者优势：GloVe评测词向量 复习 word2vec主要思想遍历整个语料库中的每个单词 预测每个单词（窗口的中心词）的上下文词汇在每个窗口进行随机梯度下降法(SGD)词向量的随机梯度在每个窗口，只有最多2m+1个单词，非常稀疏。我们也可以只更新实际出现过的词向量。解决方案：每次更新...
2019-05-01 15:51:03
296
原创 CS224N刷题——Assignment1.1&1.2_Softmax&神经网络基础
Assignment #11.Softmax(a)证明softmax对输入中的常量偏移保持不变，即对于任何输入向量x和任何常量c，式中，x+c意味着将常数c加到x的每个维上。记住：注：在实践中，我们利用这一性质，在计算数值稳定性的softmax概率时，选择。（即从x的所有元素中减去其最大元素）(b)给出n行和d列的输入矩阵，使用（a）部分的优化方法计算每行的soft...
2019-04-30 20:02:59
401
原创 《统计学习方法》——朴素贝叶斯法
朴素贝叶斯法的学习与分类 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的y。基本方法设输入空间为n维向量的集合，输入空间为类标记集合。输入为特征向量，输出为类标记。X是定义在输入空间X上的随机变量，Y是定义在输出空间Y上的随机变量。...
2019-04-30 09:52:55
942
转载 Python数据分析处理库——Pandas
原文：https://www.cnblogs.com/nxld/p/6058591.html目录数据结构简介：DataFrame 和 Series1.Series的创建2.DataFrame的创建数据索引index1.通过索引值或索引标签获取数据2.自动化对齐利用pandas查询数据统计分析pandas实现SQL操作1.增：添加新行或增加新列2.删：...
2019-04-28 15:04:27
1122
原创 《统计学习方法》——k近邻法
k近邻算法 k近邻算法简单、直观：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例的多数属于某个类，就把该输入实例分为这个类。 k近邻模型 k近邻法使用的模型实际上对应于对特征空间的划分。模型由三个基本要素——距离度量、k值的选择和分类决策规则决定。距离度量特征空间中两个实例点的距离是两个实例点相似程度的反映。k近邻模型的...
2019-04-26 22:15:01
1052
原创 CS224N笔记——词向量表示
目录Word meaningWord2vec introductionWord2vec目标函数的梯度 Word meaning 如何表示一个词的词义？在韦氏词典中meaning的词义为：(1)用单词、短语等表示的想法；(2)人们想要通过单词、符号等表示的想法；(3)在写作、艺术等作品中表达的思想。如何用计算机处理词义？最常用的方法：用分类资源来处理词义...
2019-04-26 17:24:54
323
原创 《统计学习方法》——感知机
感知机模型 定义2.1（感知机）：假设输入空间是，输出空间是。输入表示实例的特征向量，对应于输入空间的点；输出表示实例的类别。由输入空间到输出空间的如下函数，称为感知机。其中，w和b为感知机模型参数，叫做权值或权值向量，叫做偏置，表示w和x的内积。sign是符号函数，即感知机是一种线性分类模型，属于判别模型。感知机模型的假设空间是定义在特征空间中的所有线性分类模型或线性分类器，即函数集...
2019-04-26 11:16:54
969
原创 EM算法在二维高斯混合模型参数估计中的应用
高斯混合模型 高斯混合模型是指具有如下形式的概率分布模型：其中，是系数，，；是高斯分布密度，，称为第k个分模型。参考：《统计学习方法》9.3 EM算法在高斯混合模型学习中的应用 多维高斯混合模型 多维高斯混合模型具有如下形式的概率分布模型：其中d为数据的维度，为均值，为协方差矩阵。对于二维高斯混合模型，d=2，y和都是二维的数据，用矩阵表示就是一行...
2019-04-26 09:53:46
1681
原创 极大似然估计与贝叶斯估计的比较
极大似然估计 已知某个随机样本符合某种概率分布，但是其中某个具体参数不清楚，通过极大似然估计得到，该使这个随机样本出现的概率最大。一般步骤1.写出似然函数：2.对似然函数取对数：3.对求偏导数：4.解似然方程组：例题推导下述正态分布均值的极大似然估计，数据来自正态分布，其中已知。根据样本写出的极大似然估计。正态分布概率密度函数：第一步，写出似然函数：...
2019-04-25 15:56:54
1128
转载 Numpy进阶
目录切片与索引整数索引布尔索引数组广播数组翻转数组链接数组分割数组操作字符串操作 切片与索引 1.slice切片# slice切片a = np.arange(10)print(a)# slice(start, stop[, step])s = slice(2, 10, 2)print(a[s])[0 1 2 3 4 5 6...
2019-04-19 18:07:15
411
转载 主题模型（Topic Model）与LDA算法
Topic Model 主题模型（Topic Model）是以非监督学习的方式对文档的隐含语义结构(latent semantic structure)进行聚类(clustering)的统计模型。主题模型认为在词(word)与文档(document)之间没有直接的联系，它们应当还有一个维度将它们串联起来，主题模型将这个维度称为主题(topic)。每个文档都应该对应着一个或多个的主题，而...
2019-04-19 16:37:10
15165
2
翻译 潜在语义索引（Latent Semantic Indexing, LSI）——快速教程
原文作者：Dr. Edel Garcia原文地址：https://apluswebservices.com/wp-content/uploads/2012/05/latent-semantic-indexing-fast-track-tutorial.pdf摘要：本快速教程提供了使用奇异值分解（SVD）计算方法和Term Count Model对查询和文档评分以及对结果排序的说明。 关键...
2019-04-19 15:16:13
5824
翻译 奇异值分解（Singular Value Decomposition, SVD）——快速教程
原文作者：Dr. Edel Garcia原文地址：https://fenix.tecnico.ulisboa.pt/downloadFile/3779576344458/singular-value-decomposition-fast-track-tutorial.pdf摘要：本快速教程提供了使用奇异值分解（SVD）算法分解矩阵的说明。教程涵盖奇异值、左右特征向量以及计算矩阵的full ...
2019-04-19 10:30:45
2671
转载 关键词提取算法TF-IDF
简介 TF-IDF算法（Term Frequency-Inverse Document Frequency，词频-逆文档频率算法）是一种基于统计的计算方法，常用于评估在一个文档集中一个词对某份文档的重要程度，由两部分组成：TF算法以及IDF算法。TF算法是统计一个词在一篇文档中出现的频次，其基本思想是，一个词在文档中出现的次数越多，则其对文档的表达能力也就越强。 IDF算法则是统计一...
2019-04-18 21:39:15
3265
2
原创 贪心算法原理
贪心算法原理 贪心算法就是做出一系列选择来使原问题达到最优解。在每一个决策点，都是做出当前看来的最优选择，比如在活动选择问题里面，我们总是在一个问题的基础上选择结束时间最早的活动，之后再在剩下活动的基础上选出结束时间最早的活动，以此类推，直到没有活动可以进行选择。但是遗憾的是这种算法并不是总能得到最优解，并且是否能得到最优解还取决于对于贪心策略的选择。一般来说，设计贪心算法涉及到下面几...
2019-04-17 17:56:03
4700
1
原创 贪心算法之活动选择问题
活动选择问题：假定有一个n个活动的集合，这些活动使用同一个资源，而这个资源在某个时刻只能供一个活动使用。每个活动都有一个开始时间和一个结束时间，其中.如果被选中，任务发生在半开时间区间期间。如果两个活动和满足和不重叠，则称它们是兼容的。也就是说，若或，则和是兼容的。在活动选择问题中，我们希望选出一个最大兼容活动集。假定活动已按结束时间的单调递增顺序排序：考虑下面的活动集合S：i ...
2019-04-17 17:05:09
3995
原创 基于HMM和维特比算法的中文分词
隐马尔可夫模型(HMM)是将分词作为字在字串中的序列标注任务来实现的。其基本思路是：每个字在构造一个特定的词语时都占据着一个确定的构词位置，现规定每个字最多只有四个构词位置：即B(词首)、M(词中)、E(词尾)和S(单独成词)，那么下面句子(1)的分词结果就可以直接表示成如(2)所示的逐字标注形式：(1)中文/分词/是/文本处理/不可或缺/的/一步！(2)中/B文/E分/B词/E是/S文/...
2019-04-17 10:33:27
3437
8
转载 Numpy基础
目录ndarray对象基础数据类型自定义结构化类型数组属性数组创建 ndarray对象 numpy.array(object, dtype=None, copy=True, order=True, subok=False, ndmin=0)1.list转ndarray# list转换ndarraya = [1, 2, 3]print(type(a))A...
2019-04-12 16:25:10
318
原创 维特比算法的简单实现
隐马尔科夫模型 1.隐马尔可夫模型的定义参考：统计学习方法 李航著隐马尔科夫模型是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。隐藏的马尔可夫链随机生成的状态的序列，称为状态序列(state sequence)；每个状态生成一个观测，而由此产生的观测的随机序列，称为观测序列(observation s...
2019-04-09 14:56:34
3704
原创 实现一个基础的spelling corrector
题目假设：有一个真实英文词汇的大辞典。 只实现错误单词到正确单词的更正。 只考虑不同于错误单词的单个字符（插入、删除或替换）的更正。实现原理：参考Peter Norvig的spelling corrector给定一个单词，我们的任务是选择和它最相似的拼写正确的单词。（如果这个单词本身拼写就是正确的, 那么最相近的就是它自己）。当然，不可能绝对的找到相近的单词，比如说给定 late...
2019-04-05 19:14:05
686
原创 动态规划原理
适合应用动态规划方法求解的最优化问题应该具备的两个要素：最优子结构和子问题重叠 最优子结构 在钢条切割问题中，我们知道长度为n的钢条是经过第一次切割后得到的两个子钢条的最优解组成的，而矩阵链乘法是由第一次将矩阵链分为两条规模更小的矩阵链，矩阵链乘法的最优解则是由这两个子矩阵链的最优解组成的。实际中，我们在发掘一个问题的最优子结构过程中可以遵循以下模式：在面对原问题时，首先需要做出一...
2019-03-29 21:37:09
328
原创 动态规划之钢条切割
钢条切割问题：给定一段长度为n英寸的钢条和一个价格表，求切割钢条方案，使得销售收益最大。注意，如果长度为n英寸的钢条的价格足够大，最优解可能就是完全不需要切割。一个价格表的样例：长度i 1 2 3 4 5 6 7 8 9 10 价格 1 5 8 9 10 17 17 20 ...
2019-03-29 15:54:22
369
原创 Jieba分词简介
Jieba分词官网：https://github.com/fxsjy/jieba 三种分词模式 Jieba提供了三种分词模式：精确模式，试图将句子最精确地切开，适合文本分析； 全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义； 搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。import jiebasent...
2019-03-28 21:15:29
20160
1
原创 基于规则的中文分词
正向最大匹配（Maximum Match Method, MM法）的基本思想为：假定分词词典中的最长词有i个汉字字符，则用被处理文档的当前字串中的前i个字作为匹配字段，查找字典。若字典中存在这样的一个i字词，则匹配成功，匹配字段被作为一个词切分出来。如果词典中找不到这样的一个i字词，则匹配失败，将匹配字段中的最后一个字去掉，对剩下的字串重新进行匹配处理。如此进行下去，直到匹配成功，即切分出一个词或...
2019-03-28 20:30:31
772
原创 正则表达式在NLP的基本应用
匹配字符串 通过使用re.search(regex,string)这个方法，可以检查这个string字符串是否匹配正则表达式regex。如果匹配到，这个表达式会返回一个match对象，如果没有匹配到则返回None。1.获取包含关键字的句子import retext_string = '文本最重要的来源无疑是网络。我们要把网络中的文本获取形成一个文本数据库。利用一个爬虫抓取到网络...
2019-03-28 19:40:15
1381
转载 Tensorflow笔记：MNIST数据集输出手写数字识别准确率
mnist数据集 包含 7 万张黑底白字手写数字图片，其中 55000 张为训练集，5000 张为验证集，10000 张为测试集。每张图片大小为 28*28 像素，图片中纯黑色像素值为 0，纯白色像素值为 1。数据集的标签是长度为 10 的一维数组，数组中每个元素索引号表示对应数字出现的概率。1.使用input_data模块中的read_data_sets()函数加载mnist数据集：...
2019-03-27 13:47:15
1019
1
转载 Tensorflow笔记：神经网络优化
损失函数 损失函数用来表示预测值(y)与已知答案(y_)的差距。在训练神经网络时，通过不断改变神经网络中所有参数，使损失函数不断减小，从而训练出更高准确率的神经网络模型。常用的损失函数有均方误差、自定义和交叉熵等。1.均方误差mse：n个样本的预测值y与已知答案y_之差的平方和，再求平均值。在Tensorflow中用loss_mse=tf.reduce_mean(tf.square...
2019-03-26 12:01:30
472
转载 Tensorflow笔记：搭建神经网络
基本概念 1.Tensorflow的加法import tensorflow as tfa = tf.constant([1.0, 2.0])b = tf.constant([3.0, 4.0])result = a + bprint(result)打印出这句话：Tensor("add:0", shape=(2, ), dtype=float32)，意思是result是一个...
2019-03-25 21:08:17
255
原创 对数几率回归（Logistic Regression）
简介 假设你是某某大学某某系的主任，你想根据每个申请者在两次考试中的成绩来确定他们的入学机会。你有以前申请者的历史数据，可以用作对数几率回归的训练集。对于每个训练示例，你都有申请人在两次考试中的分数和录取结果。 绘制数据 横纵坐标是申请人两次考试的成绩，录取和未录取的示例用两种记号标出。# PLOTDATA Plots the data points X and y int...
2019-03-25 17:49:55
1342
原创 一元线性回归（Linear Regression）
简介 在这节练习中，建立一个一元线性回归模型，以预测食品配送的利润。假设你是一家连锁餐厅的老板，正在考虑在不同的城市开设一家新的餐厅。这个连锁店在各个城市都可以配送，并且你有这个城市的利润和人口数据。ex1data1.txt文件包含了线性回归问题的数据集。第一列是城市的人口数据，第二列是食品配送的利润，负值表示亏损。 绘制数据 对于这个数据集，可以使用散点图来可视化数据，因为...
2019-03-22 19:42:59
2844
原创 快速排序的python实现
算法描述：执行过程中,i 之前(含)的元素都比 A[r] 小,之后的比 A[r] 大。即 p ~ i 的元素比 A[r] 小,其后A[i+1] ~ A[j-1] 的元素比A[r]大。最后,交换A[i+1]与A[r]。算法实现：def QuickSort(a, p, r): if p < r: q = Partition(a, p, r) ...
2019-03-19 17:10:07
202
原创 堆排序和优先队列的python实现
堆排序算法：def HeapSort(a): global heapsize BuildMaxHeap(a) i = len(a)-1 while i >= 1: a[0], a[i] = a[i], a[0] heapsize -= 1 MaxHeapify(a, 0) i -= 1主...
2019-03-19 17:01:08
228
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人