- 博客(16)
- 收藏
- 关注
RSS订阅原创 自然语言处理（NLP）发展历程（2），什么是词嵌入（word embedding） ？
四、如何表示一个词语的意思4.1.NLP概念术语 这里我将引入几个概念术语，便于大家理解及阅读NLP相关文章。语言模型（language model，LM），简单地说，语言模型就是用来计算一个句子的概率的模型，也就是判断一句话是否是人话的概率。标准定义：对于语言序列w1,w2,...,wnw_1,w_2,...,w_nw1,w2,...,wn语言模型就是计算该序列的概率，即：P...
2019-09-02 15:23:40
1245
原创 自然语言处理（NLP）发展历程（1），什么是自然语言处理?
一、什么是自然语言处理（NLP） 首先先了解一下什么是自然语言，自然语言是人类社会发展过程中自然产生的语言，是最能体现人类智慧和文明的产物，也是大猩猩与人的区别（2019斯坦福cs224n，lesson1）。它是一种人与人交流的载体，像计算机网络一样，我们使用语言传递知识，人类语言产生是非常近的事情，大概是在10万年前，至于科学家怎么论证的，我也不清楚，但肯定不是敲着头盖骨化石问“爷爷，你当时...
2019-08-27 09:07:12
6429
1
原创 Python实现EM
1.EM算法简介EM算法也称期望最大化（Expectation-Maximum,简称EM）算法，如果概率模型的变量都是观测变量（数据中可见的变量），则可以直接用极大似然估计，或者用贝叶斯估计模型参数。但是，当模型含有隐变量（数据中看不到的变量）时，就不能简单地使用这些估计方法，而应该使用含有隐变量的概率模型参数的极大似然估计法，也即EM算法。 EM算法解决这个的思路是使用启发式的迭代方法，既然...
2018-12-15 11:54:40
1679
原创 Python实现Adaboost
1.Adaboost概念提升方法的思路是综合多个分类器，得到更准确的分类结果。 即“三个臭皮匠顶个诸葛亮”。《统计学习方法》称AdaBoost是提升算法的代表，所谓提升算法，指的是一种常用的统计学习方法，应用广泛且有效。在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提髙分类的性能。AdaBoost算法的基本思想：1）多轮训练，多个分类器2）每轮训练增加...
2018-12-06 16:29:19
4351
2
原创 Python实现SVM（Support Vector Machine）
1.SVM概念支持向量机即 Support Vector Machine，简称 SVM 。SVM模型的主要思想是在样本特征空间上找到最佳的分离超平面（二维是线）使得训练集上正负样本间隔最大，这个约束使得在感知机的基础上保证可以找到一个最好的分割分离超平面（也就是说感知机会有多个解）。SVM是用来解决二分类问题的有监督学习算法，在引入了核方法之后SVM也可以用来解决非线性问题。一般SVM有下面三...
2018-11-30 14:15:42
1137
原创 Python实现感知机（Perceptron）
1.感知机回归概念感知机（Perceptron）是二分类的线性分类模型，其输入是实例的特征向量，输出是实例的类别，取+1及-1二值。感知机是在1957年由Rosenblatt提出，今天看来它的分类模型在大多数时候泛化能力不强，但是它的原理却值得好好研究。因为研究透了感知机模型，学习支持向量机的话会降低不少难度。同时如果研究透了感知机模型，再学习神经网络，深度学习，也是一个很好的起点。假设输入空...
2018-11-22 17:41:16
4462
原创 Python实现决策树2(CART分类树及CART回归树)
接上篇 CART算法的全称是Classification And Regression Tree，采用的是Gini指数（选Gini指数最小的特征s）作为分裂标准,同时它也是包含后剪枝操作。ID3算法和C4.5算法虽然在对训练样本集的学习中可以尽可能多地挖掘信息，但其生成的决策树分支较大，规模较大。为了简化决策树的规模，提高生成决策树的效率，就出现了根...
2018-11-20 15:20:42
19470
12
原创 Python实现决策树1(ID3及C4.5)
1.决策树概念2.ID33.CART待完善参考资料：1、Machine-Learning-With-Python2、《机器学习实战》Peter Harrington著3、《机器学习》西瓜书，周志华著4、 斯坦福大学公开课 ：机器学习课程5、机器学习视频，邹博...
2018-11-15 10:52:47
888
1
原创 Python实现朴素贝叶斯分类器
1.朴素贝叶斯概念2.朴素贝叶斯算法# -*- coding: utf-8 -*-""" @Time : 2018/11/09 09:07 @Author : hanzi5 @Email : **@163.com @File : Na
2018-11-11 15:23:17
13194
1
原创 Python实现softmax回归
参考资料：1、Machine-Learning-With-Python2、《机器学习实战》Peter Harrington著3、《机器学习》西瓜书，周志华著4、 斯坦福大学公开课 ：机器学习课程5、机器学习视频，邹博6、python机器学习案例系列教程——逻辑分类/逻辑回归LR/一般线性回归（softmax回归）...
2018-11-02 10:09:00
5367
原创 Python实现逻辑回归(Logistic Regression)
1.逻辑回归概念2.梯度下降算法3.随机梯度下降算法参考资料：1、Machine-Learning-With-Python2、《机器学习实战》Peter Harrington著3、《机器学习》西瓜书，周志华著4、 斯坦福大学公开课 ：机器学习课程5、机器学习视频，邹博...
2018-10-30 15:13:01
1486
原创 Python实现线性回归3，局部加权线性回归，lasso回归，岭回归
接上篇5.局部加权线性回归局部加权线性回归（LWLR），在该算法中，我们给待预测点附近的每个点赋予一定的权重，在这个自己上基于最小均方差进行普通的回归，每次预测均需要先选取出对应数据子集。该算法接触回归系数w的形式如下：普通线性回归：w^=(XTX)−1⋅XTy\hat{w} = (X^TX)^{-1}·X^Tyw^=(XTX)−1⋅XTy加权(weight)线性回归：w^=(XTWX)−...
2018-10-24 15:28:02
1273
原创 Python实现线性回归1，使用解析解求θ
线性回归模型是最简单的机器学习模型，基础可以从线性回归模型开始入手，慢慢地过渡到非线性回归以及神经网络模型。1.概念      &a
2018-10-18 14:49:02
1231
原创 使用Python求解特征值、特征向量及奇异值分解（SVD）
SVD也是对矩阵进行分解，但是和特征分解不同，SVD并不要求要分解的矩阵为方阵。假设我们的矩阵A是一个m×n的矩阵，那么我们定义矩阵A的SVD为：A=UΣVT其中U是一个m×m的矩阵，Σ是一个m×n的矩阵，除了主对角线上的元素以外全为0，主对角线上的每个元素都称为奇异值，V是一个n×n的矩阵。U和V都是酉矩阵，即满足UTU=I,VTV=I。以下是一个SVD求解过程：以下是我使用Python...
2018-10-18 14:14:47
7860
3
原创 Python:使用Numpy解决线性代数问题
常见的矩阵操作，矩阵转置、逆矩阵、伴随矩阵、方阵的迹、行列式、范数# -*- coding: utf-8 -*-"""Created on Mon Oct 8 16:02:57 2018Python 3.6scipy 1.1.0@author: hanzi5"""import numpy as npimport scipy as scfrom scipy import lin..
2018-10-11 10:06:05
457
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人