学无止境、积少成多、厚积薄发

LR指的是Logistic Regression，逻辑回归。而不是Linear Regression，线性回归，不要问为什么，记住它就好了，haha。它是一种监督学习分类算法，不是回归算法！！这里千万要注意啦。LR常用于二分类问题，（0或者1）假如我们有一堆二维数据，也就是这堆数据有2个特征X1和X2，可视化如下：我们可以找到一条直线对三角形和圆形进行区分。（这是线性回归）这条直线（上...

1 .SVDSVD: Singular Value Decomposition,奇异值分解SVD算法不光可以用于降维算法中的特征分解，还可以用于推荐系统，以及自然语言处理等领域。是很多机器学习算法的基石。假设我们现在有一个矩阵M(m×n)，如果其存在一个分解：M = UDVT其中，U（m×m，酉矩阵，即UT=U-1）；D（m×n，半正定矩阵）；VT（n×n，酉矩阵，V的共轭转置矩阵）；...

论文AlexNet中提到饱和非线性、非饱和非线性神经元1、先说一下线性和和非线性线性linear，指量与量之间按比例、成直线的关系，在数学上可以理解为一阶导数为常数的函数；非线性non-linear，指不按比例、不成直线的关系，一阶导数不为常数。线性的可以认为是1次曲线，比如y=ax+b ,即成一条直线。非线性的可以认为是2次以上的曲线，比如y=ax2+bx+c，即不为直线的即可。参考：https://zhidao.baidu.com/question/710966855200385565.h

一个同行撰写的：主动学习入门篇：如何能够显著地减少标注代价https://developer.aliyun.com/article/773272该同行的博客地址（内含微信公众号，知乎地址，个人微信）：https://blog.csdn.net/Houchaoqun_XMU人工智能产业研究院发布的人工智能之机器学习篇——主动学习https://baijiahao.baidu.com/s?id=1593292718668537368&wfr=spider&for=pc一篇不错的博

机器学习模型的应用一般会经历两个主要过程：1、离线开发2、线上部署离线部分负责模型训练和导出模型，线上部分负责导入模型并且做预测。以上图片来自：https://zhuanlan.zhihu.com/p/30378213一、PMML简要介绍PMML（Predictive Model Markup Language,PMML)）是一套基于XML标准，与平台和环境无关的模型表示语言。它主要是通过了XML schema定义和储存了一个算法模型的核心元素：数据字典：描述输入数据数据转换：定义了

标题的名字起的有点大，其实就是给自己二点电脑配置Java环境。。。最近被安排了非深度学习算法的活，主要做回归预测，幸好上学那会搞过一段时间数据挖掘，上手也比较快，没有太折磨人。。。训练好的机器学习模型需要导出为PMML格式的文件，然后给搞开发的人调用，他们指定要PMML格式的文件。在导出的过程中，需要Java环境，因此做一个记录，仅此而已，技术含量为0。还有，Java版本也被限定为1.8，就这样吧，开启配置教程。1、下载JDK根据自身的需要，下载相应的JDK版本，在此教程中，下载的JDK版本为：

1. 随机森林的概念Q：什么是随机森林？A：随机森林是一个包含多个决策树的分类器，由很多决策树构成，不同的决策树之间没有关联。当我们进行分类任务时，森林中的每一棵决策树都会分别对样本进行判断和分类，每个决策树会得到一个自己的分类结果，决策树的分类结果中哪一个分类最多，那么随机森林就会把这个结果当做最终的结果。 （即，少树服从多树）。看起来是不是很简单呢？但是这里有一个问题，那就是随机森林中有多个决策树，那么，我们如何用已有的数据集去构建这么多的决策树呢？首先，要明白，决策树是不同的，那么训练决策树所

剪枝有两种方案：预剪枝（prepruning）后剪枝（post-pruning）7.1. 预剪枝（prepruning）预剪枝是指在决策树生成过程中，对每个结点在划分前先进行估计，若当前结点的划分不能带来决策树泛化性能提升，则停止划分并将当前结点标记为叶结点。用通俗的话来说，就是如果进行划分能够带来更好的结果就进行划分，否则不进行划分。首先，我们定义一个训练集和一个验证集如下：（西瓜书中间的例子）上面一部分是训练集，下面一部分是测试集。然后让我们来对训练集（记住是训练集）进行划分，划分的规

1. 决策树介绍决策树【Decision Tree，DT】是一类较为常见的「机器学习」方法，DT既可以作为分类算法，也可以作为回归算法。举个分类的例子：在相亲的时候，找对象的顺序应该是：Q：性别要求？A：不是女的不要。Q：年龄要求？A：大于我5岁的不要。Q：专业要求？A：非计算机专业的不要？…为了更好的表示上面的这些问题，我们将其画成一张树状图：上面的这棵树就是我们找对象的决策过程，圆角矩形代表了判断条件，椭圆代表了决策结果。通过性别、年龄和专业这几个属性，最终，得出最后的决策。

最近在为找工作备战，看了很多博客，总结机器学习中一些基础的知识。什么是数据的标准化和归一化？在CSDN和知乎上有很多大佬做出了回答，看了有的人的回答，感觉会把自己气晕，完全是浪费时间并且误人子弟。...

一、介绍贝叶斯定理是英国数学家托马斯·贝叶斯提出的，为了解决一个“逆概率”问题。贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。而朴素贝叶斯分类是贝叶斯分类中最简单，也是常见的一种分类方法。贝叶斯算法和决策树、SVM 一样，是分类算法。用来衡量标签和特征之间的概率关系，属于有监督学习算法。因为贝叶斯是基于概率论的算法，了解算法之前，需要了解概率论的几个概念：联合概率：A事件和B事件同时发生的概率，P(AB)或者P(A,B)、P(A∩B)条件概率：P(B|A):

第一次接触这个概念是在总结LR和SVM之间的区别的时候，LR是参数模型，SVM是非参数模型。今天来总结一下参数模型和非参数模型。一、前言参数模型(parametric model)和非参数模型(non-parametric model)作为数理统计学中的概念，现在也常用于机器学习领域。在统计学中，参数模型通常假设总体(样本、数据、随机变量)服从某个分布，这个分布可以由一些参数确定，如正态分布由均值(0)和方差(1)[此时，标准差也为1]确定，在此基础上构建的模型称为参数模型；非参数模型对于总体的数

参考https://mp.weixin.qq.com/s/ZaJLftMDnOG4TGmkQ8Hjgwhttps://mp.weixin.qq.com/s/zc8Qk0FCSOJvX2QvfsK8kghttps://mp.weixin.qq.com/s/I6xbn8gy0e8yA0pwu4SlMwhttps://mp.weixin.qq.com/s/WUeAaXKjiPXnhTHhC2eBSQ

Q：什么是分类器？A：就是用来把输入的数据进行分类的模型（本质上是函数）。图1，黑色的曲线就是非线性分类器。以曲线的形式分类了红点和蓝点。图2，黑色的直线就是线性分类器。以直线的形式分类红点和蓝点。一、线性分类器以上图的二分类（红点和蓝点）为例：线性分类器就是用一个“超平面”将两个样本隔离开，如：（1）二维平面上的两个样本用一条直线来进行分类；（2）三维立体空间内的两个样本用一个平面来进行分类(如下图)；（3）N维空间内的两个样本用一个超平面来进行分类。常见的线性分类器有：LR，贝叶

网格搜索：在所有候选的参数选择中，通过循环遍历，尝试每一种可能性，表现最好的参数就是最终的结果贝叶斯优化：贝叶斯优化其实就是在函数方程不知的情况下根据已有的采样点预估函数最大值的一个算法。该算法假设函数符合高斯过程(GP)随机搜索：已经发现，简单地对参数设置进行固定次数的随机搜索，比在穷举搜索中的高维空间更有效。这是因为事实证明，一些超参数不通过特征变换的方式把低维空间转换到高维空间，而在低维空间不可分的数据，到高维空间中线性可分的几率会高一些。具体方法：核函数，如：高斯核，多项式核等等。基于梯度：.

一、线性回归和逻辑回归线性回归解决的是回归问题，逻辑回归相当于是线性回归的基础上，来解决分类问题。线性回归(Linear Regression)：逻辑回归：从上面两个公式：逻辑回归可以理解为在线性回归后加了一个sigmoid函数。将线性回归变成一个0~1输出的分类问题。二、sigmoidsigmoid函数就是：函数图像是：线性回归得到大于0的输出，逻辑回归就会得到0.5 ~ 1的输出；线性回归得到小于0的输出，逻辑回归就会得到0 ~ 0.5的输出；三、总结联系：逻辑回归可以理解

softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类。假设我们有一个数组V=[V1,V2,…,Vj]，Vi表示V中的第i个元素，那么这个元素的softmax值就是：举个例子：设有三个数值A=5,B=1,C=-1，那么他们的softmax占比为：P(A)=e5e5+e1+e−1=0.9817P(A) =\frac{e^5}{e^5+e^1+e^{-1}}=0.9817P(A)=e5+e1+e−1e5​=0.9817P(B)=e1e5+e

收集机器学习/深度学习比赛网站

一元方程y=theta*x，通过梯度下降求theta如果有常数项怎么办？如：y=theta*x + b下个博客进行学习。数据集根据y = 3x构造，并加一定的随机数构造出数据集import numpy as npimport matplotlib.pyplot as pltLEN = 50X = np.arange(0, LEN) # 生成0,1,2...LEN-1整数# rand从-5到+5np.random.seed(1)rand = (np.random.random(LEN

简单来说 multiview一般指同一个对象不同的表现形式。比如一个3D物体不同角度或者不同频谱下的成像图像。multimodality指不同模态，它们所表现的可能是不同的对象，但之间有联系。比如文本和对应的音视频。这两者之间最关键的区别是后者可能不是描述完全一样的物体或对象，所以往往需要有个预对齐或者建立两者间的对应关系，既correspondence以看电视为例，A在看视频，B在听声音，C在看字幕，ABC接收的数据放在一起叫做多模态；A在近处正对着看，B在远处看，C在左边看，D在右边看，ABCD接

一、介绍当我们的数据集较小，只有几百几千张图片的时候，我们很难在一个新的网络结构上训练出具有很高准确率的模型，为此我们需要借助预训练网络模型（即已经训练好的网络模型，如VGG16）。我们利用自己的数据集来重新训练这些模型的分类层，就可以获得比较高的准确率。目前大部分的卷积神经网络都分为两部分，第一部分由卷积层、池化层组成的卷积基部分，主要用于特征提取；第二部分是由全连接神经网络组成的分类器，主要用于图像分类。当然，目前大部分网络逐渐使用GlobalAveragePooling代替全连接层进行分类，但我们

1.什么是过拟合？参考和引用：https://www.jianshu.com/p/97aafe479fa1https://blog.csdn.net/heyongluoyao8/article/details/49429629

在前面的博客中，我们已经详细讲述过了，什么是过拟合问题。过拟合（overfitting）表现为模型在训练集上预测效果好，在测试集上预测效果差。数据中的异常点会导致过拟合，这些异常点，严重偏离正常位置。在SVM中，最优分类超平面恰恰是那些占少数的支持向量，如果支持向量中碰巧存在异常点，那么我们傻傻地让SVM去拟合这样的数据，最后的超平面就不是最优的了。具体例子：（参考：https://www...

这次，我们来学习一种经典的降维方法:线性判别分析（Linear Discriminant Analysis, 以下简称LDA).在前面博客中（点我）我们讲解了PCA降维算法。PCA追求的是在降维之后能够最大化保持数据的内在信息，并通过衡量在投影方向上的数据方差的大小来衡量该方向的重要性。PCA优缺点：优点：1.最小误差 2.提取了主要信息缺点：PCA将所有的样本（特征向量集合）作为...

现有两个特征向量A和B，分别表示为A = [x1,x2,x3]B = [y1,y2,y3]则求A和B向量的余弦相似度。a = (x1 * y1 + x2 * y2 + x3 * y3)b = sqrt(x1 2 + x2 2 + x3 2) # sqrt表示求平方根c = sqrt(y1 2 + y2 2 + y3 2)cos(A,B) = a / bc同理当A个B扩到n维，...

过拟合问题是在使用复杂的非线性学习算法时会经常碰到（例如gradient boosting算法），在前面的博客中，我们也已经详细的讲述了过拟合问题。在本博客中，主要讲述XGBoost算法用Early Stopping方法避免过拟合。项目中用到的数据集：Pima Indians Diabetes Data Set（皮马印第安人糖尿病数据集）数据集的内容是皮马人的医疗记录，以及过去5年内是否有...

概述降维是机器学习中十分重要的一种思想。在机器学习中，我们会经常处理一些高维数据，而高维数据情形下，会出现距离计算困难，数据样本稀疏等问题。这类问题是所有机器学习方法共同面临的问题，我们也称之为“维度灾难”。在高维特征中，也容易出现特征之间存在线性相关，也就是说有的特征是冗余的，因此降维也是必要的。降维的优点（必要性）：去除噪声降低算法的计算开销（改善模型的性能）使得数据更容易使用使...

直接上代码：python3 代码实现：# -*- coding: utf-8 -*-"""Created on Sat Jul 27 21:25:39 2019@author: ZQQ"""from sklearn.linear_model import LogisticRegressionfrom sklearn.ensemble import RandomForestCla...

机器学习 = 数据预处理 + 模型训练；数据预处理：包括特征提取，特征表示；模型训练：训练的策略，训练的模型，算法等一套流程。一：先说一下特征选择和降维特征选择和降维有着相似点，但是本质上是不同的。两者都是试图减少特征数据集中的属性的数目，但是两者所采用的方式却不同；降维的方法主要是通过属性间的关系，如组合不同的属性得到新的属性，这样就改变了原来的特征空间；而特征选择的方法是从原始数据...

一.介绍k近邻算法（k-nearnest neighbor，kNN）是一种基本分类与回归方法。思想：给定测试案例，基于某种距离度量找出训练集中与其最靠近的k个实例点，然后基于这k个最近邻的信息来进行预测。在分类任务中，使用“投票法”，即选择这k个实例中出现最多的标记类别作为预测结果；在回归任务中，使用“平均法”，即将这k个实例的实值输出标记的平均值作为预测结果；还可以基于距离远近进行加权或...

k-means算法是无监督学习算法（非监督学习算法）。1.聚类聚类分析是没有划分类别的情况下，根据样本相似度进行样本分组的一种方法分监督学习算法。聚类的输入是一组未被标记的样本，聚类根据自身的距离或者相似度划分为若干组，划分的原则是组内距离最小化，而组间距离最大化。2.k-meansk-means算法是一种简单的迭代型聚类算法，采用距离作为相似性指标，从而发现给定数据集中k个类，且每个类的...

在机器学习中的监督学习算法，通常将原始数据划分为训练集，验证集和测试集，划分的比例一般为60%：20%：20%，对原始数据三个数据集的划分，是为了能够选出模型效果最好的（准确率等指标）、泛化能力最佳的模型。1、训练集（training set）作用：用来拟合模型，通过设置分类器的参数，训练分类模型。（训练出多个分类模型，同一参数不同取值的模型）2、验证集（cross validation s...