![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习-高阶学习
跟着贪心机器学习高阶班的课程学习
酸菜鱼摆摆
这个作者很懒,什么都没留下…
展开
-
K-Means, EM, DBScan(学习笔记)
K-MeansK-means算法的一些特性K-Means++Expectation Maximization(EM)http://ai.stanford.edu/~chuongdo/papers/em_tutorial.pdfhttps://zhuanlan.zhihu.com/p/57679630E-step: Compute a distributionon the labels of the points, using current parametersM-step:原创 2021-10-22 21:39:14 · 296 阅读 · 0 评论 -
理解和比较GBDT、XGBoost和LightGBM
学习目标理解掌握各种集成学习算法的思路从Boosting的发展脉络学习,理解每一种Boosting算法的原理和特点可先从实例入手,再理解算法过程,反复消化综合对比多种算法的区别,再仔细理解每一个差异点AdaboostAdaBoost对每一个样本分配一个权重,对每一轮的弱分类器也分配一个权重。AdaBoost通过分类误差率来更新后一轮的样本权重,提高被错误分类的样本权重,降低正确分类的样本权重,这样没有被正确分类的数据,在后一轮得到更大关注。同时对基分类器分配权重,加大误差率小的弱分类器原创 2021-10-15 18:13:55 · 728 阅读 · 0 评论 -
决策树及提升树
转载 2021-10-04 10:50:10 · 189 阅读 · 0 评论 -
集成方法理论知识
Majority Vote Classifier“Soft” VotingBaggingBootstrap SamplingBagging ClassifierBias-Variance 分解Boosting改变与那里数据权重Adaboost证明原创 2021-09-26 22:28:48 · 69 阅读 · 0 评论 -
剑指 Offer 10- I. 斐波那契数列(python)
利用动态规划class Solution: def fib(self, n: int) -> int: if n<0: return -1 if n==0: return 0 if n==1: return 1 else: dp = [] dp.append(0) dp.appe.原创 2021-09-26 15:14:07 · 62 阅读 · 0 评论 -
线性判别分析(LDA)原理笔记(KLDA算法待推导)
LDA作为分类器协方差矩阵LDA作为特征降维工具LDA降维直观理解LDA降维公式推导如何证明协方差矩阵一-定半正定原创 2021-09-25 22:32:08 · 1156 阅读 · 0 评论 -
Kernel Logistic Regression and the Import Vector Machine(论文笔记)待补充
如何读一篇文章优先级:1.题目+摘要 2.引言 3.结论 4.图表 5.模型细节 6.实验细节论文阅读技巧:https://www.youtube.com/watch?v=IeaD0ZaUJ3Y原创 2021-09-25 18:24:14 · 73 阅读 · 0 评论 -
51.Softmax+Cross Entropy的实际使用
Softmax Classifier(TensorFlow)原创 2021-09-25 10:28:34 · 78 阅读 · 0 评论 -
Softmax with Cross Entropy理论笔记
一、Softmax应用场景-CNN分类全连接层全连接层,又称完全连接层,即fully-connected layer,利用基于训练数据集得到的特征,将最后的输出映射到线性可分的空间,从而将输入图像分为不同的类别。“完全连接”这个术语意味着前一层中的每个神经元都连接到下一层的每个神经元。添加完全连接层也是一个比较简单的学习这些特征非线性组合的方式。输出层当抓取到足以用来识别图片的特征后,接下来的就是如何进行分类。输出层主要准备做最后目标结果的输出。图像目标识别通常使用Softmax输原创 2021-09-24 12:39:20 · 316 阅读 · 0 评论 -
PCA和LDA原理
PCA的作用主成分分析简称 PCA(Principal Component Analysis),有两个大的用处1.Clustering把复杂的多维数据点,简化成少量数据点,易于分簇2.降维降低高维数据,简化计算降低维度,压缩,去噪原来的数据集是d维,转换成k维的数据,k<d新的k维数据尽可能多的包含原来d维数据的信息数据压缩PCA求解2维降维到1维: 寻找一个一维向量的方向,数据在这个向量上的投影能最小化损失从n维降维到k维:寻找一个k维向量,数据在这个k维空间的投影能原创 2021-09-23 16:55:40 · 908 阅读 · 1 评论 -
模型评估方法代码案例
模型评估方法代码案例import numpy as npimport xgboost as xgbfrom sklearn.ensemble import RandomForestClassifierfrom sklearn.model_selection import KFold, train_test_splitfrom sklearn.metrics import confusion_matrix, mean_squared_errorfrom sklearn.datasets impo原创 2021-09-23 12:30:36 · 691 阅读 · 0 评论 -
SVM实战_人脸识别代码
SVM实战_人脸识别代码import numpy as npimport timefrom scipy.stats import sem# from sklearn.cross_validation import train_test_split# cross_validation has been deprecated in >=sklearn 0.18from sklearn.model_selection import train_test_split,cross_val_score原创 2021-09-23 10:26:21 · 349 阅读 · 0 评论 -
Leetcode:剑指Offer 32 - III从上到下打印二叉树IIII
题目答案:# Definition for a binary tree node.# class TreeNode:# def __init__(self, x):# self.val = x# self.left = None# self.right = Noneclass Solution: def levelOrder(self, root: TreeNode) -> List[List[int]]:原创 2021-09-20 22:51:55 · 127 阅读 · 0 评论 -
38.梯度下降算法笔记
梯度下降算法批处理梯度下降法随机梯度下降法SGD小批量梯度下降法(常用)原创 2021-09-20 21:04:58 · 66 阅读 · 0 评论 -
37.softmax多元逻辑回归
多元分类函数多元分类:似然函数及其导数softmax with cross-entropy loss 求导(未推导)原创 2021-09-20 20:46:30 · 198 阅读 · 0 评论 -
36.逻辑回归学习笔记
逻辑回归逻辑回归知识点最小损失函数梯度下降法系数的意义逻辑回归参数物理意义例子最大似然函数通过ln,乘积变和公式变换如下证明逻辑回归的随时函数是convex的证明是凸函数,说明可以寻求最优解参考资料:贪心科技高阶机器学习...原创 2021-09-20 20:18:59 · 104 阅读 · 0 评论 -
36.Ridge(岭回归), Lasso, ElasticNet(弹性网络)
Ridge Regression(岭回归)利用L2范式Lasso RegressionElastic Net原创 2021-09-20 13:18:35 · 229 阅读 · 0 评论 -
正则化(Regularization)
正则化的定义:对机器学习算法的任何修改,以减少其泛化错误(generalization error) ,但不减少其训练错误(training error)L1-regularizationL2-regularizationL1和L2正则化各有千秋,将他们结合起来就构成ElasticNet参考贪心机器学习高阶...原创 2021-09-20 12:06:59 · 65 阅读 · 0 评论 -
Bais(偏差)与Variance(方差)的区别
Bais(偏差):度量了学习算法的期望预测与真实结果的偏离程度,即刻画了学习算法本身的拟合能力;Variance(方差):度量了同样大小的训练集的变动所导致的学习性能的变化,即刻画了数据扰动所造成的影响;...原创 2021-09-20 10:33:21 · 5153 阅读 · 0 评论 -
线性回归学习笔记
线性回归的数学定义线性回归的数学解析解(矩阵表达)线性回归的概率理解线性回归总结可利用Boxcox做正态分布(先转化为正态分布,进行线性拟合,后再进行反向恢复参考贪心机器学习高阶班...原创 2021-09-19 17:10:06 · 71 阅读 · 0 评论 -
N、NP、NPC问题分析
什么是多项式?O(1), O(logn),O(nlogn),O(n),O(n2)或者o(nk)等为多项式 :axn-bx(n-1)+c什么是P?Polynomial(多项式复杂度问题)什么是NP?(Non Deterministic Polynomial)对于一个问题,假如现在某个解,如果能在多项式时间内验证这个解是否为正确解,那么这个问题就是NP问题。例子:假设有一个没有重复元素的数组arr = […],现在我们希望找到它的中位数median排序(O(nlogn))arr[n/2](O原创 2021-09-17 16:25:48 · 3471 阅读 · 0 评论 -
单纯形算法的具体实现(Simplex)与调用scipy优化器里的lp solver求解实现
参考资料https://www.hrwhisper.me/introduction-to-simplex-algorithm/Lpsolve.py: 调用scipy优化器里的lp solver求解'''原题目:有2000元经费,需要采购单价为50元的若干桌子和单价为20元的若干椅子,你希望桌椅的总数尽可能的多,但要求椅子数量不少于桌子数量,且不多于桌子数量的1.5倍,那你需要怎样的一个采购方案呢?解:要采购x1张桌子,x2把椅子max z= x1 + x2s.t. x1 - x2 <原创 2021-09-15 22:00:27 · 551 阅读 · 0 评论 -
线性规划_单纯性算法求解实例
求最小值原创 2021-09-14 21:48:41 · 91 阅读 · 0 评论 -
VC维理论
通过对偶函数、违反法则的异常点,也可以被分出来原创 2021-09-14 09:00:36 · 114 阅读 · 0 评论 -
Kernel Linear Regression and Kernel PCA
SVM的思想运用到线性回归Kernel PCA损失最小的降维交叉验证原创 2021-09-12 15:16:26 · 251 阅读 · 0 评论 -
使用SVM支持多个类别
利用SVM做多个类别的方法原创 2021-09-12 13:57:14 · 77 阅读 · 0 评论 -
SVM的smo解法
求解SVM坐标轮换法坐标轮换法基本原理SVM dualSMO算法详解http://cs229.stanford.edu/materials/smo.pdf原创 2021-09-12 13:19:26 · 122 阅读 · 0 评论 -
带kernel的SVM
使用核函数The Kernel Trick (核技巧)使用核函数,预测公式什么要使用核函数(处理线性不可分的情况)将特征映射到更高的维度将原理的特征映射到更高的维度(续)直接扩展到高纬的问题成为KerneD的条件(Mercer’s Theor em)多项式核(Polynomial Kernel)多项式核(Polynomial Kerne|) 举例二维映射为三维高斯核(Gaussian Kernel) ,也称为Radial Basis Function (RBF) K原创 2021-09-11 21:55:22 · 160 阅读 · 0 评论 -
带松弛变量的支持向量机学习记录(SVM)
向量内积支持向量机原创 2021-09-11 21:05:10 · 120 阅读 · 0 评论 -
KKT Condition学习记录
Primal Dual(1)原优化对偶Primal Dual(2)原优化对偶Primal Dual(3)KKT原创 2021-09-11 17:09:07 · 126 阅读 · 0 评论 -
从词嵌入到文档距离论文笔记(From Word Embeddings To Document Distances)
摘要引言二、相关工作三 、word2vec词向量四、WMD距离四、WMD距离-快速计算五、实验结果六、总结原创 2021-09-11 16:30:19 · 112 阅读 · 0 评论 -
Duality对偶学习笔记(第一课时)
Duality(对偶)Duality目录Primal and dual特点g( ,)是凹函数可将inf理解为minLeast Norm Minimization (最小范数极小化)Linear Programing(线性规划)Weak and Strong DualityStrong Duality的条件Complementary Slackness(互补松弛)KKT Condition...原创 2021-09-11 14:06:44 · 3203 阅读 · 0 评论 -
凸函数学习笔记第二课时
Set Cover Problem(集合覆盖问题)Approach 1: Exhaustive Search(方法1:暴力搜索)Approach 2: Greedy Search(贪心算法)选择元素最多的集合先进行组合Mathematical Formulation(通过数学方式)原创 2021-09-10 20:43:31 · 106 阅读 · 0 评论 -
凸函数学习记录
凸函数的性质矩阵计算的参考链接原创 2021-09-08 21:05:31 · 95 阅读 · 0 评论 -
AI领域需要关注的论文会议
1.MLICMLNIPSAISTATUAI2.nlpACLEMNLPColigNAACLCVCVPRICCVDMICDDWSDMICDMAIAAAIIJLAIJMLRPAMITKDE论文渠道:arxiv.org 通过subcribe去订阅推送原创 2021-09-07 15:20:35 · 120 阅读 · 0 评论 -
高阶机器学习_学习目录
原创 2021-09-07 15:03:29 · 88 阅读 · 0 评论