机器学习算法
BestRivenZC
研究生在读
展开
-
台湾大学机器学习笔记——Neural Network 神经网络
今天介绍一下Neural NetWork,都是一下个人理解,认真看的话看懂肯定不是问题。个人微信公众号:计算机金融阅读。欢迎关注。 1.首先介绍一下神经网络的基本组成,从左边开始,那些x就是输入样本点所包含的特征,然后经过第一层的w权重,得出第二层神经元(图中圆圈表示神经元)的输入值,在经过一个激活函数将输入值S转化为输出值X,这里的激活函数可以选用不同的函数,在吴恩达机器学习视频中的激活函数为s原创 2016-06-24 19:04:10 · 1457 阅读 · 0 评论 -
吴恩达机器学习笔记——softmax回归概率模型推导
此文章解释指数分布族,广义重点内容线性模型,以及softmax回归的概率解释推导。1.指数分布族指数分布族即为指数形式的概率分布:其中,T(y)为充分统计量,tau为自然参数。大多数的概率分布都可以转化为指数分布模型,下文会有例子。2.广义线性模型广义线性模型通过指数分布族来引出。广义线性模型有三个假设:(1) y|x;θ ExponentialFamily(η);给定样本x与参数θ,样本分类y 服从指数分布原创 2017-04-07 20:19:04 · 3309 阅读 · 2 评论 -
吴恩达机器学习笔记——指数分布族&广义线性模型&逻辑回归概率模型推导
此文章解释指数分布族,广义重点内容线性模型,以及逻辑回归的概率解释推导。1.指数分布族指数分布族即为指数形式的概率分布:其中,T(y)为充分统计量,tau为自然参数。大多数的概率分布都可以转化为指数分布模型,下文会有例子。2.广义线性模型广义线性模型通过指数分布族来引出。广义线性模型有三个假设:(1) y|x;θ ExponentialFamily(η);给定样本x与参数θ,样本分类y 服从指数分布原创 2017-04-07 17:31:22 · 1632 阅读 · 0 评论 -
吴恩达 机器学习 最小二乘法 概率解释
此文为吴恩达机器学习视频中,对最小二乘法概率模型的解释。推导公式如图所示:从图中看,假设y为房价,x为关于房价的各个特征,比如:楼层,地理位置,房屋大小等等。theta为将要学习的参数。最后一项为误差项,比如成交时房屋主人的性情。且假设次误差(噪声)符合均值为0的高斯分布,那么同样也可得出房价也同时符合高斯分布。然后求出y的极大似然,通过公式的推导即可得出最小二乘法的概率模型解释。原创 2017-04-07 16:54:02 · 815 阅读 · 0 评论 -
Tensorflow——学习笔记(1)
运行环境Ubuntu 16.04。 运用tensorflow搭建神经网络结构(一层)。实现线性拟合的效果。(十分简单,仔细看一定能懂) 代码:import numpy as np #科学计算 import tensorflow as tf #导入tensorflow的包x_data=np.random.rand(100).astype(np.float32) # 随机生成100个个原创 2016-09-08 21:38:39 · 358 阅读 · 0 评论 -
台大机器学习笔记——Adaboost
Adaboost(Adaptive boosting) 微信公众号:计算机金融阅读 1.在讲Adaboost之前,先从bagging讲起,bagging的核心就是Boosttrapping ,就是说在原来的资料中重新随机选N比资料,然后用u记录下每笔资料的数量,然后再最小化的损失函数中乘上被抽到资料的次数。 2.将u放到base algorithm。如果在SVM中的err前加上u,那么经过原创 2016-06-20 16:13:35 · 666 阅读 · 0 评论 -
台大机器学习笔记——SVR 支持向量回归
支持向量回归,个人微信公众号:计算机金融阅读,欢迎大家关注。(看不懂的点前面的文章都有讲)。 1.再讲支持向量回归之前,先推导如何将ridge regression加核。什么是ridge regression,简单说就是线性回归加上regularized项,也就是下图中的第一个式子: 2.如何给这个式子加核,跟之前SVM里面加核一样,最好的W参数,可以表示为Z的线性组合,证明过程如下,首先原创 2016-06-16 21:57:38 · 5864 阅读 · 0 评论 -
台湾大学机器学习笔记——Soft-Margin 支持向量机
问题:接着第三讲的加核的支持向量机,如果现在有以下样本,按照左边的线性法,会有少部分样本点出现误判。但是之前讲的所有SVM问题中,我们都是要求所有的点都必须分正确,并且在分正确的情况下找出margin最大的情况,所以在很多场合下运用Hard-Margin SVM很容易出现过拟合。 1.那么此时为了控制容忍错误的能力,我们将问题转化为下列式子: 我们将pocket和hard-margi原创 2016-06-14 15:18:40 · 1125 阅读 · 0 评论 -
台大机器学习笔记-Kernel 支持向量机
Kernel support vector machine 1.在上一讲中我们已经推出了对偶问题的二次规划问题: 在解这个二次规划问题的时候,变量和条件的数量都在N左右,跟特征维数看似没什么关系了,但是仔细看q_(n,m),里面依旧包含了特征维数,那么在求解释,如果特征维数很高,求解二次规划的为题依然很难!为了加速q的求解,让两个Z的内积更快。 如果从x空间来看,Z的内积可已看作两个步骤原创 2016-06-12 20:43:29 · 625 阅读 · 0 评论 -
SVM——对偶支持向量机
SVM——对偶支持向量机 1.之前谈了线性支持向量机的具体求解过程,可以化简到这个式子: 这个式子带有条件的最小化问题可以用二次规划方式来求解。 2.现在有一种新的方式来对此公式继续化简,对于上面的式子,我们可以定义一个拉格朗日多项式,即: 那么SVM就可以写成仙最大化拉格朗日多项式,再最小化。为什么可以这样写呢,因为如果b跟w不满足第一张图中的条件,那么再最大化是al原创 2016-06-06 21:48:12 · 753 阅读 · 0 评论 -
SVM——线性支持向量机
线性支持向量机 希望我写的对大家会有所帮助。 微信公众号:计算机金融阅读。 昨天写了点支持向量机的东西,然后自己看了一遍,写的什么鬼,完全是一坨shit,估计过段时间我自己都看不懂了,所以今天准备详细写一遍。 我想大家都知道,SVM会得到一条分类的线,且这条分类线是最好的那条,问题来了,为什么呢?下面我们一步一步来推。 1.想得到那条最好的线需要什么呢,首先肯定要保证这条线能将所有样本原创 2016-06-03 21:41:04 · 576 阅读 · 0 评论 -
tensorboard 报错locale.Error: unsupported locale setting
如果在服务器上运行tensorboard报错:locale.Error: unsupported locale setting解决方案:export LC_ALL=C亲测有效。。。原创 2019-06-18 18:43:01 · 243 阅读 · 0 评论