aggie4628的专栏

1.迁移学习的概念2.迁移学习的分类3.模型融合(超级经典的图)1.迁移学习与前两年比，机器学习已经升级为迁移学习。机器学习假定的式训练集->测试集数据分布式一致的，或者叫数据特征一致,而迁移学习应用的是两者不一致的情况下。所谓迁移学习有两个重要的概念：域（数据）-任务（要完成的事情）.在机器学习里 ：原域（训练集）->目标域（测试集）。2.迁移学习的分类 目标任务 源域 目标域 归纳式 不同相关 无所谓是否相同 无所谓是否相同 ..

DNN-feedforward neural network 前馈神经网络RNN-Recurrent Neural Network 循环神经网络CNN-Convolutional Neural Networks 卷积神经网络DNN以向量形式输入CNN 比较好，图像领域和自然语言处理领域RNN 处理时序相关的序列问题...

一.论文下载网站1.代码复现的论文：https://www.paperswithcode.com/2.一个能绕过科研论文收费的神奇网站：https://sci-hub.twttps://sci-hub.si https://sci-hub.se3.百度学术： http://xueshu.baidu.com二.论文整理工具 Mendeley 三.学习路径一般论文结构...

dictd = {'a':7, 'b':3, 'e':12, 'c':8}#按照key大小排序d1 = [(k, d[k]) for k in sorted(d.keys())]#按照value大小排序d2 = sorted(d.items(), key = lambda x:x[1])

1.skLearn用途2.SKlearn 模块内容划分3.如何使用SkLearn4. SkLearn 常用算法1.skLearn用途2.SKlearn 模块内容划分Classification 分类Regression 回归Clustering 无监督学习Dimensionality reduction 降维Model Selectionn...

什么是数据分析，什么是数据挖掘，什么是机器学习。貌似都是对历史数据的应用。 下面是对方法论的一些描述。 1.数据分析 2.数据挖掘 3.科学计算 4.数据预处理和数据分析 1.数据分析 对过去的还原 统计与回归 描述统计分析方法 ：用图表示历史 频数分析 集中趋势 离散程度 ...

AI-机器学习（1）-SVM（1）-间隔最优化AI-机器学习（2）-SVM(2)-对偶AI-机器学习（3）-SVM（3）-核函数AI-机器学习 (4)一图看懂什么是AI,机器学习和深度学习AI-机器学习 (5)-趣谈贝叶斯-条件概率-一看就懂AI-机器学习（7）-CRF-一看就懂AI-机器学习（9）-PCA-LDA-线性回归必备-详细实现步骤AI-机器学习(10)-SVM(4)-软硬...

AI-统计学习（1）-模型-感知机-（随机梯度下降和对偶)AI-统计学习（2）-模型-K近邻AI-统计学习（3）-分类-感知机-python 实例代码AI-统计学习（4）-KNN 线性扫描算法-python-实例代码AI-统计学习（5）-极大似然估计求后验概率最大化AI-统计学习（6）-贝叶斯求后验概率最大化AI-统计学习（7）-决策树模型-“概念表格”到”树”再到”数学表达式”-全过程详解AI-...

隐马尔可夫和条件随机场应用于语音识别、自然语言处理等应用。简单的说我们就是用图，有向图、无向图来表示离散的变量和其概率分布。解决的是标注问题，关注的是变量之间的“依赖性”“独立性”。1.团、最大团2.有向图 无向图3.马尔可夫性4.隐马尔可夫模型 2个假设，3个基本问题，3组参数5.条件随机场 图形 公式6.贝尔曼优化原理团、最大团团：任意两个间都有...

EM算法是什么的？真实应用中，很多情况都是不完全数据，或者缺失数据，但我们还是想知道它的概率分布。正常情况下，我们用最大似然估计或者贝叶斯进行概率预测，实现监督学习，而这算法就是针对非监督的概率分布预测的。初始值不同时会存在局部最优的情况。1.用于什么场景？不完全数据，缺失数据的情况下。2.E是什么？期望，隐变量的期望。3.M是什么？MAX最大化。4.流程是什么？收敛...

对于实际应用来说，一元线性回归是常用的，实测值、预测值、损失值。为了调参、为了最小化损失，知其然也知其所以然，不能怕麻烦，手推公式。最重要的是理解了背后的数学原理，可以做恒等变形和等价变换，实际应用时，可以使得原来不可解的变为可解的。原问题：1.我有实测值表达如下：后面为向量形式2.yi表示预测值3.我希望两个相等，或者叫损失值最小，公式表达如下：步骤：...

L1 L2正则-凸优化问题解决什么问题：解决过拟合什么叫过拟合？ 模型复杂，数据量小。 表现： 训练集好 测试集不好。 怎么办：减少参数。如何减少呢？数学上叫正则化 写损失函数的时候 min(损失函数+正则化项) 模型参数会压缩或者减小到0。结论：q<=1 可得稀疏解 ...

Adaboost由于其分类效果好，算法简单，还有其可靠的理论基础，深受大家欢迎。本文以统计学习三要素来说说这个模型，并对训练误差界进行说明。希望对大家理解这些公式有帮助。Adaboost 模型说明2.训练误差界1.Adaboost 模型说明模型：加法模型 （求和）（求和项系数+积函数）策略：损失函数为指数函数（预测值正确也是有损失的）算法：...

Adaboost由于其分类效果好，算法简单，还有其可靠的理论基础，深受大家欢迎。1.用来解决什么问题：二分类模型。2.如何解决：弱学习器的叠加生成强学习器3.判断标准：分类误差率4.调整的是什么？基本分类器的权重5.步骤：N6.总结：并行 其实这些模型难于理解在于看到公式表达就头晕，所以针对每个字符的意义，我做了详细的说明，这样一看就明白了。提升方式基...

求导是最优化中最常用的算法。 函数求导公式表达 三种方法 1.scipy.misc模块下的derivative 2.使用sympy模块里的diff和symbols函数 3.使用numpy模块里的函数 公式： X=2时，1...

什么时候用？文本、音频分析。 永标准的神经网络用来解决这些问题时的缺点？ 1.标准的神经网络，输入样本长度固定的。这个可以处理序列信号长度不同的情况。比如输入文本，第一次输入20个词，第二次输入30个词。RNN用输出序列解决这个问题。2.标准神经网络无法共享特征。比如一句话里有两个相同的词，“李雷”，第一个定义为人名，第二个也肯定是人名的，这个网络可以记忆第...

神经网络说起来很神秘，在输入项少，隐藏层少的情况下还是不难的。本文手动构建了一，2项输入、2隐藏层，1输出的前向神经网络。 基本的模式就是 过程->符号->公式->代码。 程序过程就是录入数据项训练->结果。 关注点就是公式->代码。 1.我们构建的过程图 2.符号说明 ...

反向传播神经网络如雷贯耳。哪哪都是这个词。为什么要反向？ 首先神经网络是为了最优化参数，wb. 梯度下降最优解。如何做？求导。当把所有式子列出来后，会发现式链式求导，有大量重复。从数学计算的简便性来说，反过来可以避免重复,简化计算，这就是为嘛反向。1.公式2.公式->代码 （主要是求导函数的运用）3.技巧（矩阵求导，可以转置让其维度匹配） ...

Python 这么火，那它究竟能做什么？当然我只写了一个子集。1.数据分析，可视化2.NLP自然语言处理3.社交网络关系《权力的游戏》人物关系分析4.计算机视觉5.量化交易平台数据分析，可视化 1数量统计 2变量之间的关系3热图，不同属性的关系 2.NLP自然语言处理 分词，语义。 3.社交网络关系《权力的游戏》人物关系分析...

感知机和SVM都是线性可分，那他们有什么区别呢？还有什么是支持向量机，硬间隔和软间隔又是什么？。 1.感知机与SVM的异同 2.硬间隔最大化 3.软间隔最大化1.感知机与SVM的异同 感知机和SVM都是用于处理二分类问题。用超平面区分两类不同的数据。 数据分：线性可分：就用超平面分开。 线性不可...

逻辑回归时是需要改进迭代尺度算法，用于提高收敛性，而对于没有显示形式方程求极值或者0时，我们需要用拟牛顿法。1.改进的尺度迭代算法 1.1公式及解释 1.2求解步骤及难点说明 1.2.1.第一次缩放 1.2.2第二次缩放 1.3收敛条件 1.4总结2.拟牛顿法步骤 2.1公式及解释 2.2图形及步骤说明...

我们经常要做的就是求解极值，最大或者最小。为了数学方便，引入的是拉格朗日乘子和对偶性。在求解极值的其实就是关注d*（最优值） C（约束） p*（最优概率）。如果不想看推导，可直接看总结的红字即可。 1.拉格朗日对偶性及其推导 2.定理 2.1定理1 d* C p*关系 2.2定理2 d*= p* 等号成立的条件（凸集...

贝叶斯常用来解决二分类问题比如我有如下一组数据，建了一个模型，现在我想计算一下 新值x(2,s), 它输出-1和1的概率分别是多少呢。步骤：1.公式计算 2.预测公式计算 1.1 1.2 2.预测 3三个公式，对...

决策树是种可视化的模型，可做分类也可做回归。概念内容详看前章，本文讲如何python 实现。回顾一下比如我知道一组人的信息：年龄、是否有工作、是否有房贷…这叫特征值，现在再来一些人，这时我想能否贷款给他。我该怎么做呢，就可以用决策树模型实现。左边是数据，右边是树。当然这棵树没有把全部的特征向量放进去只是示意了一下。 图1程序过程： 1...

决策树是种可视化的模型，可做分类也可做回归。比如我知道一组人的信息：年龄、是否有工作、是否有房贷…这叫特征值，现在再来一些人，这时我想能否贷款给他。我该怎么做呢，就可以用决策树模型实现。左边是数据，右边是树。当然这棵树没有把全部的特征向量放进去只是示意了一下。 图1 2那如何建树。其实就是如何选择根结点、内部结点、叶节点、判别生成子结点。 换句话说就是如何选择特...

贝叶斯求后验证概率最大化 与极大似然估计相比多了一个 1.二项先验分布（beta分布） 2.Dirichlet先验分布 3.概率密度分布图像 4.方程表达： 4.1初始 4.2结果1.二项先验分布（beta分布）2.Dirichlet先验分布3.概率密度分布图像4.方...

手推了一把用极大似然估计算后验概率最大化记录一下。 1.二项分布、多项分布和联合概率分布数学表达形式 2.求解步骤 2.1带约束的极值问题，引入拉格朗日乘子 2.2求极值，其实就是求偏导 2.3后验证概率最大化二项分布和多项分布 什么是二项分布 抛硬币就是二项分布，正面或...

PCA LDA用来干什么：数据降维，从高维到低维。提取特征分量或者叫主成分分析。属于线性回归和拟合必备。实例：比如淘宝，下单数和成交数分析。1.PCA 最大化方差如何推出主成分？ 实现步骤：1.1给定数据 1.2中心化 1.3投影坐标 1.4方差表示 ...

1.CRF定义： Conditional Random Fields-条件随机场是一种判别模型，可以用于预测序列数据，通过使用过去的上下文信息，使模型达到更好的预测效果。2.CRF应用： CRF 可以对序列数据建模，NLP 领域有很多应用。例如 ：Parts-of-Speech tagging，这个任务依赖之前的单词，通过使用 feature functions...

1.解决的问题： 非线性可分时怎么办。 2.方法：低维映射到高维。 3.如何从低维到高维 核函数：向量间的点乘，都会用到核函数点乘出现是因为对偶。 4.一些常用的核函数： 4.1.线性核函数 对数据不清楚时直接线性拟合 ...

对偶，我们要解决什么问题呢？约束条件下目标函数如何求最优化。比如两条线的拟合，比如分类。 这跟对偶啥关系呢？ 对偶就是 min(max..)==max(min..) 这是强对偶，min(max..)>= max(min..)这是弱对偶。 最优不就是max 或者min，有时求min方便，有时求max方便，于是用数学方便做了转换。 ...

SVM是解决什么问题的：分类 如何解决呢：SVM有三宝，间隔最优化、对偶、核技巧。本文讲讲间隔。 1.线性可分 2.超平面 3.最大间隔超平面 4.支持向量 5.svm间隔最优化问题 6.间隔最优化如何计算1.什么是线性可分？ 二维里，两类点被一条直线完全分开。2.什么是超平面？ ...

KNN 线性扫描算法可做线性回归也可做分类。概念详见前篇 示例： 输入数据：训练数据T={(X1,Y1)……(XN,YN)} 待输入数据：（x_test） K值 左图为输入，右图为图形界面 K 为1-6时结果1.算法步骤2.编码步骤3.问题 每次处理一个...

感知机模型一般用来做二分类，找分类超平面的。概念请参看前篇。本篇是python的具体实现。 示例输入： X_train=np.array([[3,3],[4,3],[1,1]]) y_train=np.array([1,1,-1])//标签 求超平面 示例输出： 左边是b...

K近邻算法K近邻模型解决的问题：二分类、多分类、回归。 K近邻模型适用条件：非线性可分，局部信息，用完后需要训练集数据 存储方法影响结果。没有很强的假设。 K近邻算法的模型复杂度体现在哪？什么情况下会造成过拟合？ 模型复杂度体现在K值上 K值比较小的时候容易造成过拟合 K值比较大的时候容易造成欠拟合。 1.什么是K近邻，三要素 距离度量、K值选择、分类决策规则...

感知机模型：感知机模型解决的问题：二分类问题 感知机模型适用条件：线性可分 感知机模型统计学习三要素：假设空间、策略、求解算法 感知机的假设空间是什么？模型复杂度体现在哪？假设空间就是分离超平面 wx+b=0.模型的复杂度主要体现在x(...)的特征数量，也就是维度d上。1感知机模型（定义）2.感知机策略（衡量模型好坏）3.感知机算法 （两种，后一种计算量小 原因1.先算内...

本文图片是南大本科培养体系提纲，科班学习路径。

什么是AI、机器学习、深度学习，它们是什么关系？华为AI专家认证给出的概念，我觉得是靠谱的，可以去官网上下https://ilearningx.huawei.com/portal/#/courses/course-v1:HuaweiX+EBGTC00000187+2018.9/about2.机器学习与数据挖掘的联系与区别 机器学习(Machine Learning，ML)...

1.随机变量：随机试验各种结果的实值单值函数。例如： 抛硬币正面H， 反面T 样本空间： S={HH,HT,.TH,TT}以Y记两次投掷硬币得到反面T的总数，则Y是随机变量。随机变量的分布函数（离散、连续）、分布率（连续）、密度函数（离散）有什么联系和区别？2. 特征分解：是将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法。 求解方法三种： 2.1矩阵分解...

贝叶斯的方法 贝叶斯方法的本质就是从结果推测出成因。 比如你怀疑老王是杀人凶手，但你没有证据，所以你怀疑度比较低，有一天，你从老王家搜出了凶器，这个证据会加重你对老王的怀疑。 这是个哲学问题。 如何量化证据和论断呢？贝叶斯提出什么叫“信”，什么叫“不信”，对某个假设的相信程度应该用一个概率来表示P(假设)。 P=1就是绝对相信，P=0就...