机器学习
文章平均质量分 85
Yonghua Li
苟活程序员
展开
-
第四章总结 朴素贝叶斯法
朴素贝叶斯法 NaiveBayesNaiveBayesNaive Bayes 是基于贝叶斯定理与特征条件独立假设的分类方法。朴素一词也意味着它是一种最简单、常见的贝叶斯方法,朴素贝叶斯是贝叶斯证据独立的表达形式,属于一种特例。4.1 朴素贝叶斯的学习和分类4.1.1 概率论基础先验概率、条件概率和后验概率先验概率:事件发生前的预判概率。可以是基于历史数据的统计,可以由...翻译 2018-03-14 00:42:11 · 356 阅读 · 0 评论 -
Kmeans GMM 高斯混合模型 EM算法
Kmeans 模型是 GMM 模型的一种,高斯混合模型(Gaussian Mixed Model)指的是多个高斯分布函数的线性组合,理论上GMM可以拟合出任意类型的分布,通常用于解决同一集合下的数据包含多个不同的分布的情况。GMM 参数的学习可以用EM算法,EM算法是用于含有隐变量的概率模型参数的极大似然估计,EM算法通过迭代来的方式进行极大似然估计,每一次迭代由可以分为:E步,求期望;M步,...原创 2018-05-19 00:55:25 · 598 阅读 · 0 评论 -
机器学习中的核技巧
核技巧、核函数真正接触核方法应该是在 SVM ,正常情况下,感知机算法和支持向量机都是默认数据是线性可分的,这类问题叫做线性分类问题。当数据线性不可分的时候,但高维可分(这个不理解可以多看看书),我们仍然想用线性分类的方法去解决,这个时候就需要用非线性变换将非线性问题转换成线性问题。于是,我们得到求解非线性分类问题的一个思路: 1. 用一个非线性变换,将数据特征从原空间映射到一个新的空间...原创 2018-05-18 01:47:50 · 3113 阅读 · 0 评论 -
Logistic 回归 (LR)推导
Logistic 回归是一个常用的分类模型以及神经网络的基础。二项逻辑斯谛回归 Logistic 回归的思想是将线性模型用来做分类任务,需要找到一个单调可微函数将分类任务的真实标记 yyy 与线性回归模型的预测值联系在一起(广义线性模型)。这里,我们选取一个可以代替单位阶跃函数(不连续)的函数即对数几率函数(Logistic function),它是一种 Sigmoid 函数即形似 SS...原创 2018-05-17 15:59:58 · 1029 阅读 · 0 评论 -
神经网络关于输入X 权重W 和偏置biase 的Shape形式辨析
引子对于初学者来说,我相信很容易对神经网络中的各种 Shape 形式产生混乱。(事实证明,我和我的同学就做过相关讨论) 比如,神经网络中,对于一张图片的输入需要怎么样处理呢,除了把图像压缩成一个向量外,一个样本看做一行还是一列的形式输入呢,权重 WWW 的形式是什么样的,等等下面我将对比 吴恩达的Deep Learning 中教学的知识 与 TensorFlow 中的各种 Sha...原创 2018-03-21 14:44:46 · 10260 阅读 · 4 评论 -
Tensorflow Saver & restore 以及报错问题 NotFoundError: "x_x" not found in checkpoint
根据 莫烦Python 的教程 保存模型参数# -*- coding: utf-8 -*-"""Created on Tue Mar 20 10:01:04 2018@author: lyh"""import tensorflow as tf import numpy as np#saveW = tf.Variable([[1,2,3],[3,4,5]],dt...原创 2018-03-20 12:46:18 · 9418 阅读 · 12 评论 -
神经网络/自编码器的实现(向量化Python版本实现)
神经网络/自编码器的实现(向量版本)# -*- coding: utf-8 -*-"""Created on Tue Jan 2 17:47:29 2018@author: lyh"""import numpy as npfrom sklearn.preprocessing import MinMaxScaler#激活函数def tanh(x): return...原创 2018-03-13 21:18:47 · 2565 阅读 · 0 评论 -
第三章总结 K近邻法及kd树
本文 参考自李航博士的《统计学习方法》 为自我理解的简化版本3.1 K近邻算法给定一个训练数据集,对新的输入实例,在训练数据集中找到与该实例最邻近的k个实例,这k个实例的多数属于某个类,就把该输入实例分为这个类。y=argmax∑xi∈Nk(x)I(yi=ci)y=argmax∑xi∈Nk(x)I(yi=ci)y= arg \max \sum_{x_i \in N_k...翻译 2018-03-13 21:11:54 · 371 阅读 · 0 评论 -
第二章总结 感知机模型
感知机(perceptron)是二分类的线性分类模型,属于判别模型2.1 感知机模型f(x)=sign(wx+b)f(x)=sign(wx+b)f(x) = sign(wx + b) sign是符号函数 感知机的解释:线性方程 wx + b = 0 对应于特征向量 RnRnR^n 中的一个超平面,w(法向量) 和 b(截距) 这些参数确定这个超平面——分离超平面,...翻译 2018-03-13 17:16:59 · 395 阅读 · 0 评论 -
第一章总结 统计学习三要素的理解
统计学习三要素的理解统计学习的方法是基于数据构建统计模型从而对数据进行预测和分析。 形式化的表达: 统计学习方法 = 模型 + 策略 + 算法实现统计学习方法的步骤: 1. 得到一个有限的训练数据集合 2. 确定包含所有可能的模型的假设空间,即学习模型的集合 3. 确定模型选择的准则,即学习的策略 4. 实现求解最优模型的的算法,即学习的算法 5. ...原创 2018-03-13 17:11:21 · 922 阅读 · 0 评论 -
初探循环神经网络 RNN 及 TensorFlow 实现
在跟着莫烦学完使用TensorFlow 实现 循环神经网络 RNN (https://www.bilibili.com/video/av16001891/?p=33),看着自己按照教程写的代码,一看,还有点懵… 在初步学习和研究之后,有了很多新的体会。先上代码# -*- coding: utf-8 -*-"""Created on Tue Mar 20 13:18:49 2018...原创 2018-03-22 21:45:58 · 798 阅读 · 0 评论 -
第一个基于 Tensorflow 的简单回归例子
学习自 YouTube 上莫烦的 TensorFlow 的教学视频# -*- coding: utf-8 -*-"""Created on Sun Mar 18 22:53:41 2018@author: Administrator"""import tensorflow as tfimport numpy as np import matplotlib.pyplot...原创 2018-03-19 00:04:57 · 386 阅读 · 0 评论 -
从概率论的角度理解 正则化
自己的一个理解,如果有误,请在留言处指出,万分感谢。模型学习,不管是判别模型还是生成模型,都是学习训练数据集中特征 XXX 与 其输出 YYY 的后验概率 P(Y|X)P(Y|X)P(Y|X),其实也就是直接学习或者间接学习的区别。因此,我们的模型学到的是一个后验概率,为了防止出现学习过拟合的情况,我们通常会在损失函数后面加一个关于权重 WWW 的罚项,也叫正则项,这就是我们说的正...原创 2018-03-18 20:37:49 · 2940 阅读 · 0 评论 -
第五章总结 决策树
本文 大部分参考 李航博士的《统计学习方法》 并加入少量个人部分理解,用于个人巩固提高,并非原创。决策树(decision tree)是一种基本的分类与回归方法。5.1 决策树学习决策树学习,学习的目标是根据给定的训练数据集构建一个决策树模型,使它能够对实例进行正确的分类。从另外的角度看,决策树学习是由训练数据集估计条件概率模型。损失函数 决策树学习的损失函数通常是 正...翻译 2018-03-15 00:06:56 · 404 阅读 · 0 评论 -
判别模型与生成模型
监督学习方法可以分为 生成方法 和 判别方法,所学到的模型分别称为 生成模型 和 判别模型。生成方法生成方法是指由数据学习联合概率分布 P(X,Y)P(X,Y)P(X,Y) ,然后求出条件概率分布 P(Y|X)P(Y|X)P(Y|X) 作为预测的模型,即生成模型: P(Y|X)=P(X,Y)P(X)P(Y|X)=P(X,Y)P(X)P(Y|X) = \frac {P(X,Y)}{P(X)...翻译 2018-03-14 23:05:10 · 166 阅读 · 0 评论 -
维度灾难与降维 以及 PCA 主成分分析与 LDA 线性判别分析
参考资料: https://blog.csdn.net/m0_37788308/article/details/78115209 PCA主成分分析(入门计算+深入解析)(一) https://www.cnblogs.com/pinard/p/6251584.html 奇异值分解(SVD)原理与在降维中的应用 https://zhuanlan.zhihu.com/p/32658341 LDA...原创 2018-05-21 13:23:12 · 1266 阅读 · 0 评论