![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
wangqianqianya
这个作者很懒,什么都没留下…
展开
-
图聚类
图聚类基于图的聚类。注意这里的图指的不是图片,而是顶点+边构成的图。将样例用图表示,则通过对图中顶点的划分完成聚类。图的表示顶点:样本点 聚类:顶点的划分 边:样本点的相似度表示无向图,为点的集合,E为边集,W为权重,表示节点、之间相似度图的划分图的划分是将图完全划分成若干个子图,个子图无交集。划分要求同子图内的点相似度高 不同子图间的点相似...原创 2019-12-12 13:02:50 · 15968 阅读 · 8 评论 -
线性降维:主成分分析PCA
降维将样本从d维降为d'维。有时候样本维度太大,计算量很大,通过降维的方式,可以减小计算量(但会保持样本间的相对距离不变)。降维方式给定输入X维度为d维,即Xi={x1,x2,...,xd},先要对X进行降维,使得它的维度变为d'维。假设样本数数为m,即将d*m的矩阵X(每列是一个数据点)转化为d'*m的矩阵:可以推出,所以我们的目标就是构造出一个d*d'的矩阵W。W由X...原创 2019-12-12 13:03:01 · 319 阅读 · 0 评论 -
matlab实现迁移学习
MATLAB基本操作见:https://blog.csdn.net/wangqianqianya/article/details/83149288 数据集:https://blog.csdn.net/linqianbi/article/details/78626130 train与trainNetwork函数区别: train用于训练浅层神经网络,trainNetwor...原创 2018-11-02 11:55:07 · 5088 阅读 · 0 评论 -
生成式对抗网络对比(GAN--pix to pix--cycleGAN)
神经网络只要有非线性激活函数,就可以去拟合任意的函数,那么分布也是一样,所以可以用一直正态分布,或者高斯分布,取样去训练一个神经网络,学习到一个很复杂的分布。GAN:(单向):为生成一个生成器,使它可以产生新的原训练集中没有的数据,如有一系列猫的图片,①给鉴别器判别他们是真的图片,②训练生成器时输入随机变量,生成器随机生成一张图片(此图片随机)③把这张图片拿去训练鉴别器,鉴别器会输出假④用...原创 2018-11-03 13:41:14 · 3714 阅读 · 0 评论 -
神经网络的6种监督学习传播算法
反向传播算法BP以梯度下降法为依据与梯度下降法又有不同。 需要提供学习率和动量参数。 用梯度下降算法计算改变权重。算法步骤:输入样本、学习率 初始化权重W,与偏置b 反复执行:(1)正向传播信息:选定样本,沿着一层层的网络算出估计值y(2)反向传播误差:依照估计值与实际值,由损失函数产生的梯度,更新W,b曼哈顿更新规则需要提供学习率(较小)和权重改变量(常量,e.g0.0...原创 2018-11-13 18:44:08 · 2517 阅读 · 0 评论 -
回声状态网络ESN(含python、MATLAB代码数据)
时间序列预测:把获得的数据按时间顺序排序,分析其变化方向和程度,用来预测未来若干时期可能达到的水平。非线性自回归时间序列:特性是连续的观测数据比较长时间间隔的观测数据更具有相关性e.g :Mackey-Glass(MG)时间序列,其表达式如下:回声状态网络ESN:Echo State Network可用于时间序列预测 由输入层、储备池、输出层构成 用一个储备池模式...原创 2018-12-21 16:58:26 · 14269 阅读 · 18 评论 -
聚类算法实例:K-Means实现图像分割
K-Means聚类K-means算法是经典的基于划分的聚类方法基本思想以空间中的k个点为中心进行聚类,对最靠近它们的对象归类,类别数为k。不断迭代,逐次更新各聚类中心的值,直至得到最好的聚类结果。最终的k个聚类具有以下特点各聚类本身尽可能的紧凑,而各聚类之间尽可能的分开。该算法的最大优势在于简洁和快速,算法的关键在于预测可能分类的数量以及初始中心和距离公式的选择。算法描述...原创 2019-02-22 22:27:02 · 34490 阅读 · 3 评论 -
聚类算法实例:k-means实现文档分类(用jieba分词)
文档分类 对文档进行分类即对文本信息进行聚类。文本聚类是聚类算法在文本上的应用。由于聚类算法针对的是数学数据,要计算出样本点之间的“距离”。所以首先,我们要将文本数据转化为数学信息。可以使用TF-IDF加权技术计算单个词的权值。TF-IDF常用于咨询检索与文本挖掘,用于估计某一个词对于文件集中某一文件的重要程度。TF-IDF原理是词的重要性与它在该文件出现次数成正比,与它在文件...原创 2019-03-02 12:51:17 · 7028 阅读 · 0 评论 -
openCV教程(一):图片基本操作
openCV简介openCV是一个开源的跨平台的计算机视觉库。支持windows、linux、android、mac OS等操作系统,实现了图像处理和计算机视觉方面多个算法。提供多种语言的编程接口,c/x++/pythonopenCV图形处理1、采集图像通过摄像头采集图片:cv2.VideoCapture(摄像头来源) #指定0表示默认摄像头,指定1可更换while...原创 2019-03-23 23:16:36 · 363 阅读 · 0 评论 -
matlab图片操作
读取、显示图片I=imread("a.png",RGB) %第一个参数为图片地址,第二个图片格式,不写matlab能自动判断,figure; %默认使用当前句柄,避免图片覆盖imshow(I);获取图片大小length=size(I,1);width=size(I,2);[l,w]=size(I)RGB转为灰度图片grayI = rgb2gray(I)对图像进...原创 2019-04-02 12:54:37 · 821 阅读 · 0 评论 -
机器学习:感知机与梯度下降
感知机即神经元,感知机算法即神经网络算法,一般指浅层神经网络。 理论上单隐层神经网络可以拟合所有函数,但需要的神经元数量会要很多,且易出现梯度消失情况。而深度神经网络层数增加,表示的特征更多,神经元数量减少。输入层:为训练数据,n为每个样本的特征数。 W为权重,前一层的每个神经元与后一层每一个神经元之间都有一个权重,随机初始化。b/w0为偏置,每...原创 2019-04-04 22:59:52 · 554 阅读 · 0 评论 -
pytorch实现线性拟合
一维线性拟合数据为y=4x+5加上噪音结果:import numpy as npfrom mpl_toolkits.mplot3d import Axes3Dfrom matplotlib import pyplot as pltfrom torch.autograd import Variableimport torchfrom torch impor...原创 2019-10-27 11:20:17 · 828 阅读 · 0 评论 -
线性分类器:感知器/SVM
线性可分存在一个超平面,可以将数据集的正负例完全正确地划分至超平面两侧。如:左图中的数据是线性可分,而右图不是。 线性模型形式是x在第i个特征的取值。反映了第i个特征的重要程度。如可看出在决定一个瓜是否为好瓜时,根蒂属性最重要。线性分类器本文介绍两种常见的线性分类器:感知器算法 支持向量机SVM感知器算法函数定义我们要做的就是求出...原创 2019-12-09 15:17:39 · 1989 阅读 · 1 评论 -
参数化方法:贝叶斯决策
参数化方法假定数据D= { xt }t 服从某个分布xt ~ p (x)参数化方法假定样本从某个已知模型中抽取,该模型由的一些参数确定,例如 p (x |q ) 服从N ( μ, σ2) ,统计量q = { μ, σ2} 通过估计这些统计量,得出分布 将估计出的分布p(x),p(ci),p(ci|x)用于决策先验概率与后验概率从原因到结果的论证称为“先验”;从结果到原因的论...原创 2019-12-07 17:52:46 · 521 阅读 · 0 评论 -
牛顿迭代法(含辗转相除法原理):近似求解方程的根
结论:迭代序列: x (n+1)= x (n)- f ( x(n) ) / f '( x(n) )(附C++代码)(通过不断作切线找切线与x轴交点重复,交点不断向根逼近)牛顿迭代法:在实数和复数域求方程的近似根,由泰勒级数前几项寻找计算方法:设 x 是 f(x) = 0的根,选取 x0 作为 x 初始近似值,过点( x0, f(x ) )做曲线y = f(x)的切线L,则...原创 2018-10-07 20:33:12 · 2753 阅读 · 0 评论 -
神经网络激活函数:sigmoid、tanh、ReLU、softmax
激活函数作用:将权值结果转化成分类结果。常用于逻辑回归(Logistic Regression) 神经网络(Neural Network) 这两处,激活函数都用于计算一个线性函数的结果。 sigmoid函数 : 在机器学习中可用在分类问题上,如逻辑回归模型分类器,将输出值映射到(0,1)总和为1,可以从概率角度理解,则输出时选择值最大的(概率最大)作为预测值 ...原创 2018-10-07 21:32:53 · 54142 阅读 · 0 评论 -
matlab/octave教程
在matlab中数据的逻辑形式可以表现出多维,但物理上在内存中的形式却是很简单按列存放的。matlab(矩阵实验室)的数据结构只有矩阵(array)一种形式(可细分为普通矩阵和稀疏矩阵)。单个的数就是1*1矩阵;数组或向量就是1*n或n*1矩阵,事实上对于matlab来说数、数组或向量和二维矩阵本质没任何区别,它们维数都是二。首先最重要的: 帮助命令(help) >>...原创 2018-10-18 17:30:57 · 2345 阅读 · 0 评论 -
循环神经网络RNN和递归神经网络RNN(LSTM)
RNN 解决的问题:一般的神经网络的输入维度都是确定的,但有时我们要处理变长的输入,解决方法是采用循环或递归的方法输入(recurrent/recursive neural network)。如输入本应是一段话,我们可以将这段话分成长度相同的词一个一个地依次输入。RNN可以映射一对一、一对多和多对多用于:预测。网络具有记忆功能。循环神经网络和递归神经网络区别RNN,一般都...原创 2018-11-10 15:56:36 · 2011 阅读 · 0 评论 -
tansfer learning -迁移学习
https://blog.csdn.net/SusanZhang1231/article/details/73249978tansfer learning:原创 2018-11-10 16:06:31 · 165 阅读 · 0 评论 -
机器学习误差计算及评估指标
误差计算 线性回归 一般采用均方差(即标准差,方差的算术平方根)计算误差:(更多方差知识见文末链接) 逻辑回归(分类中) 一般采用交叉熵:特别的,二分类:(原理见文末链接)偏差与方差期望:方差:噪声:二分类误差评估TP:TruePositive (预测对为正例,说明实际为正例) FP:FalsePositive(预测错...原创 2018-11-10 16:36:17 · 3711 阅读 · 1 评论 -
tensorflow的Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2
因为tensorflow默认分布是在没有CPU扩展的情况下构建的解决:在代码中加入下面两行即可忽略警告import osos.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'说明:os.environ["TF_CPP_MIN_LOG_LEVEL"] = '1' # 这是默认的显示等级,显示所有信息 os.environ["TF_CPP_MIN_LO...原创 2018-12-19 19:41:30 · 80 阅读 · 0 评论 -
机器学习算法总结(持更)
机器学习监督学习√线性回归梯度下降和正规方程法√逻辑回归(分类) √KNN:K近邻算法:(监督学习)训练集中每个数据点都有分类标签,对于要进行分类的点,找到与该点最近的k个点,他们所属类别中最多的那个即是该点的类别。(类似投票)所以要做的是取不同的k值算准确率,找到最好的K√正则化解决过拟合问题 √误差分析√误差评估感知机感知机就是神经元,感知...原创 2018-12-19 11:05:51 · 126 阅读 · 0 评论 -
强化学习算法一:Q Learning
强化学习算法:通过价值选行为:Q-learning、Sarsa、Deep Q Network直接选行为:Policy Gradients想象环境并从中学习:Model Based RL强化学习:在无任何思路情况下,机器由奖励和惩罚决定下一步行为 奖励和惩罚就是机器人的老师,开始时没有标签,要在学习中学得各个行为的标签(价值),然后用该价值做出决策。 QLearning:通过价值选行为...原创 2018-12-31 18:09:31 · 389 阅读 · 0 评论 -
凝聚的层次聚类
层次聚类 虽然基于划分的聚类方法如k-means可以较好的将对象集分成互斥的若干类,但有时我们想把数据划分成不同层上的组群。比如对于手写数字的识别,我们先把它聚类成每个区域只含一种数字,之后对于每个区域,我们还可以继续按手写字体划分成新的区域。 层次聚类分为凝聚方法和分裂方法 凝聚方法:自底向上。从假设每一个对象都是一个单独的簇开始,迭代合并,形成更大的簇 分裂方法:自顶向下。开始令...原创 2019-03-01 21:05:53 · 5714 阅读 · 0 评论 -
机器学习:支持向量机SVM原理及python实现
SVM(support vector machine)支持向量机是一种监督学习算法,可用于分类、回归、离群点检测。引入软间隔因为:(1)不是任何任务都能找到好的核函数使其线性可分;(2)就算实现(1),但也无法判断模型线性可分是不是过拟合造成。支持向量(support vector):到超平面最近的样本点 间隔(margin):各异类支持向量到超平面的距离之和。 硬间隔:要求所有...原创 2019-03-20 16:02:59 · 1155 阅读 · 0 评论 -
最小二乘法:求回归直线方程
最小二乘法:使离差平方和 (i=1~n) ∑(yi-yi') 最小的方法结论:设回归方程为y'=bx+a;解得回归直线方程:在一组具有相关关系的变量与数据的(x,y)间,最能体现x,y关系的直线(一条尽可能接近所有数据点的直线)设回归方程为y'=bx+a;要使直线最拟合,则使(i=1~n) ∑(yi-yi')最小,但yi-yi'可能为负,无法正确反映整体数据的切合程度...原创 2018-10-07 19:51:45 · 28749 阅读 · 0 评论