机器学习
文章平均质量分 94
连理o
负优化砖家
展开
-
傅里叶级数、傅里叶变换 (FT)
FT原创 2022-09-27 20:35:03 · 1947 阅读 · 0 评论 -
离散傅里叶变换 (DFT)、快速傅里叶变换 (FFT)
DFT, FFT原创 2022-09-27 20:34:41 · 1706 阅读 · 2 评论 -
Google Colab, Kaggle
Colab 使用简介原创 2022-08-18 15:15:39 · 1957 阅读 · 0 评论 -
信息论 (Information Theory): Introduction and information measures
信息论基础原创 2022-07-21 16:41:14 · 814 阅读 · 0 评论 -
变分法 (Calculus of Variations)
欧拉-拉格朗日方程原创 2022-07-20 16:30:07 · 2083 阅读 · 0 评论 -
重参数 (Reparameterization)
重参数、Gumbel softmax、REINFORCE原创 2022-07-09 10:25:45 · 4790 阅读 · 1 评论 -
对比学习论文综述
目录第一阶段:百花齐放InstDisc (Instance Discrimination)InvaSpread (Invariant and Spreading Instance Feature)References第一阶段:百花齐放InstDisc (Instance Discrimination)paper: Unsupervised Feature Learning via Non-Parametric Instance DiscriminationMotivation作者提出的 I原创 2022-02-26 22:15:02 · 5315 阅读 · 0 评论 -
图的链接分析 (link analysis): PageRank 算法
目录PageRank 的定义基本想法参考文献PageRank 算法是图的链接分析 (link analysis) 的代表性算法,属于图数据上的无监督学习方法。PageRank 算法最初作为互联网网页重要度的计算方法,被用于谷歌搜索引擎的网页排序。事实上,PageRank 可以定义在任意有向图上,后来被应用到社会影响力分析、文本摘要等多个问题PageRank 的定义基本想法PageRank 算法的基本想法是在有向图上定义一个随机游走模型,即一阶马尔可夫链,描述随机游走者沿着有向图随机访问各个结点原创 2021-10-25 14:35:11 · 1716 阅读 · 0 评论 -
马尔可夫链 (Markov Chains)
目录马尔可夫链马尔可夫链的基本定义离散状态马尔可夫链 (Finite-State Markov Chains)转移概率矩阵状态分布平稳分布 (steady-state vector / equilibrium vector)平稳分布的定义平稳分布的存在性如何找到平稳分布?连续状态马尔可夫链马尔可夫链的简单应用语言模型马尔可夫链的性质不可约非周期正常返遍历定理可逆马尔可夫链参考文献马尔可夫链马尔可夫链的基本定义时间齐次的马尔可夫链 (time homogenous Markov chain): 转移原创 2021-10-24 17:50:13 · 37094 阅读 · 2 评论 -
马尔可夫链蒙特卡罗法 (Markov Chain Monte Carlo, MCMC)
目录蒙特卡罗法 (Monte Carlo Method)随机抽样 (random sampling)数学期望估计 (estimation of mathematical expectation)定积分的近似计算 (Monte Carlo integration)马尔可夫链 (Markov Chain)基本定义离散状态马尔可夫链转移概率矩阵和状态分布蒙特卡罗法是通过从概率模型的随机抽样进行近似数值计算的方法。马尔可夫链蒙特卡罗法则是以马尔可夫链为概率模型的蒙特卡罗法。马尔可夫链蒙特卡罗法构建一个马尔可夫链原创 2021-10-22 16:25:18 · 7117 阅读 · 0 评论 -
Bayesian inference problem, MCMC and variational inference
贝叶斯推理、马尔可夫链蒙特卡罗法、变分推理原创 2022-06-25 21:32:10 · 433 阅读 · 0 评论 -
潜在语义分析 (LSA),概率潜在语义分析 (PLSA)
目录单词向量空间与话题向量空间单词向量空间非负矩阵分解 (non-negative matrix factorization, NMF)潜在语义分析是一种无监督学习方法,主要用于文本的话题分析,其特点是通过矩阵分解发现文本与单词之间的基于话题的语义关系单词向量空间与话题向量空间单词向量空间文本信息处理的一个核心问题是对文本的语义内容进行表示,并进行文本之间的语义相似度计算 (e.g. 文本信息检索、文本数据挖掘)非负矩阵分解 (non-negative matrix factorizati原创 2021-10-17 19:29:21 · 1571 阅读 · 1 评论 -
距离度量、相似度计算 (闵氏距离、马氏距离、皮尔逊相关系数、余弦相似度)
Ref: 《统计学习方法》目录LpL_pLp 距离 (LpL_pLp distance) / Minkowski 距离 (Minkowski distance)马氏距离 / 马哈拉诺比斯距离 (Mahalanobis Distance)LpL_pLp 距离 (LpL_pLp distance) / Minkowski 距离 (Minkowski distance)当 p=2p=2p=2 时,称为欧氏距离 (Euclidean distance)当 p=1p=1p=1 时,称为曼哈顿.原创 2021-10-14 20:28:20 · 1312 阅读 · 0 评论 -
最大熵模型 (maximum entropy model)
本文为《统计学习方法》的读书笔记目录最大熵原理最大熵模型的定义最大熵模型的学习最大熵原理最大熵原理是概率模型学习的一个准则。最大熵原理认为,学习概率模型时,在所有可能的概率模型 (分布) 中,熵最大的模型是最好的模型。所以,最大熵原理也可以表述为在满足约束条件的模型集合中选取熵最大的模型最大熵原理的直观解释假设离散随机变量 XXX 的概率分布是 P(X)P(X)P(X), 则其熵是熵满足下列不等式:当 XXX 服从均匀分布时,熵最大直观地,最大熵原理认为要选择的概率模型首先必须满.原创 2021-10-14 16:59:55 · 1013 阅读 · 0 评论 -
隐马尔可夫模型 (hidden Markov model, HMM)
本文为《统计学习方法》的读书笔记目录隐马尔可夫模型的基本概念隐马尔可夫模型的定义观测序列的生成过程隐马尔可夫模型的 3 个基本问题概率计算算法直接计算法前向算法 (forward algorithm)后向算法 (backward algorithm)一些概率与期望值的计算学习算法监督学习方法Baum-Welch 算法 (无监督学习方法)预测算法近似算法维特比算法 (Viterbi algorithm)隐马尔可夫模型的基本概念隐马尔可夫模型的定义隐马尔可夫模型是关于时序的概率模型。它描述由一个隐.原创 2021-10-13 16:26:46 · 3730 阅读 · 0 评论 -
EM 算法及其推广
本文为《统计学习方法》的读书笔记目录EM 算法的引入EM 算法的应用三硬币模型EM 算法的引入概率模型有时既含有观测变量 (observable variable),又含有隐变量 (hidden variable / latent variable)。如果概率模型的变量都是观测变量,那么给定数据,可以直接用极大似然估计法,或贝叶斯估计法估计模型参数。但是,当模型含有隐变量时,就不能简单地使用这些估计方法EM 算法是一种迭代算法,用于含有隐变量的概率模型参数的极大似然估计,或极大后验概率估计。E.原创 2021-10-12 23:06:17 · 183 阅读 · 0 评论 -
XGBoost, LightGBM
详细介绍 XGBoost、LightGBM 的原理原创 2021-10-08 16:54:18 · 246 阅读 · 0 评论 -
拉格朗日乘子法 (Lagrange multipliers)
拉格朗日乘子法原创 2021-09-30 16:09:13 · 14259 阅读 · 0 评论 -
Adversarial Attack (对抗攻击)
本文为李宏毅 2021 ML 课程的笔记目录Basic ConceptsMotivationHow to AttackBasic ConceptsMotivationAre networks robust to the inputs that are built to fool them?Useful for spam classification, malware detection, network intrusion detection, etc.How to Attack.原创 2021-09-19 16:42:09 · 5076 阅读 · 0 评论 -
Domain Adaptation
本文为李宏毅 2021 ML 课程的笔记目录Domain ShiftDomain AdaptationKnowledge of target domain: Little but labeledKnowledge of target domain: Large amount of unlabeled dataKnowledge of target domain: little & unlabeledKnowledge of target domain: NoneTo learn more....原创 2021-09-20 21:15:52 · 370 阅读 · 1 评论 -
Transfer Learning (迁移学习)
本文为李宏毅 2021 ML 课程的笔记目录Transfer LearningTransfer Learning - Overviewlabled →\rightarrow→ labledModel Fine-tuningConservative TrainingLayer TransferMultitask Learninglabled →\rightarrow→ unlabledDomain-adversarial trainingZero-shot learningTransfer Learn.原创 2021-09-21 08:31:54 · 451 阅读 · 0 评论 -
Life Long Learning (LLL)
本文为李宏毅 2021 ML 课程的笔记目录Life Long LearningLife Long LearningCatastrophic ForgettingMulti-task trainingEvaluationResearch DirectionsSelective Synaptic Plasticity (Regularization-based Approach)Additional Neural Resource AllocationProgressive Neural Network.原创 2021-09-22 17:02:02 · 455 阅读 · 0 评论 -
Network Compression (网络压缩)
本文为李宏毅 2021 ML 课程的笔记目录Network CompressionNetwork PruningNetwork PruningWeight pruningNeuron pruningWhy Pruning?Knowledge DistillationParameter QuantizationArchitecture DesignDynamic ComputationNetwork CompressionSmaller Model: Deploying ML models in .原创 2021-09-22 20:59:00 · 351 阅读 · 0 评论 -
Meta Learning: Learn to learn
本文为李宏毅 2021 ML 课程的笔记目录Introduction of Meta LearningWhat is Meta Learning?Meta Learning – Step 1Meta Learning – Step 2Introduction of Meta LearningWhat is Meta Learning?在 Meta learning 中,输入使要学习的任务,输出是一个训练好的模型3 steps: (1) Function with unknown; (2.原创 2021-09-23 15:14:00 · 205 阅读 · 0 评论 -
ML (Chapter 1): 绪论
机器学习基础知识原创 2020-11-27 10:45:15 · 271 阅读 · 2 评论 -
ML (Chapter 2): 模型评估与选择
本文为《机器学习》(周志华) 的读书笔记参考 南瓜书习题未做目录经验误差与过拟合评估方法留出法 (hold-out)交叉验证法 (cross validation)自助法 (bootstrapping)调参与最终模型性能度量 (performance measure)错误率与精度查准率 / 准确率 (precision)、查全率 / 召回率 (recall) 与 F1F_1F1经验误差与过拟合"错误率" (error rate): 分类错误的样本数占样本总数的比例,即如果在 mmm 个原创 2021-05-26 10:31:34 · 270 阅读 · 0 评论 -
ML (Chapter 3): 线性模型
本文为《机器学习》(周志华) 的读书笔记参考 南瓜书习题未做目录基本形式线性回归 (linear regression)基本形式给定由 ddd 个属性描述的示例 x=(x1;x2;...;xd)\boldsymbol x= (x_1; x_2;...;x_d)x=(x1;x2;...;xd), 其中 xix_ixi 是 x\boldsymbol xx 在第 iii 个属性上的取值,线性模型 (linear model) 试图学得一个通过属性的线性组合来进行预测的函数,即一般用向原创 2021-06-05 20:33:10 · 305 阅读 · 0 评论 -
ML (Chapter 4): 决策树 (decision tree)
本文为《机器学习》(周志华) 的读书笔记参考 南瓜书目录基本流程划分选择信息增益 (information gain) (ID3)信息熵 (information entropy)条件熵互信息信息增益 (information gain)利用信息增益来进行决策树的划分属性选择增益率 (gain ratio) (C4.5)基尼指数 (Gini index) (CART)剪枝处理 (pruning)预剪枝 (prepruning)后剪枝 (postpruning)基本流程顾名思义,决策树是基于树结原创 2021-05-10 11:25:23 · 456 阅读 · 0 评论 -
ML (Chapter 6): 支持向量机 (SVM, Support Vector Machine)
本文为《机器学习》(周志华) 的读书笔记参考 南瓜书目录间隔与支持向量间隔与支持向量给定训练样本集 D={(x1,y1),...,(xm,ym)}D = \{(\boldsymbol x_1,y_1),..., (\boldsymbol x_m, y_m)\}D={(x1,y1),...,(xm,ym)}, yi={−1,+1}y_i=\{-1,+1\}yi={−1,+1}. 分类学习最基本的想法就是基于训练集 DDD 在样本空间中找到一个划分超平面, 将不同类别的样本分开. 但能将原创 2021-07-10 09:44:05 · 231 阅读 · 2 评论 -
ML (Chapter 7): 贝叶斯分类器
本文为《机器学习》(周志华) 的读书笔记参考 南瓜书目录贝叶斯决策论 (Bayesian decision theory)贝叶斯决策论 (Bayesian decision theory)贝叶斯决策论 是概率框架下实施决策的基本方法. 对分类任务来说,在所有相关概率都已知的理想情形下,贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记.下面我们以多分类任务为例来解释其基本原理.假设有N种可能的类别标记,即Y= {c1,c2, … , 切},入乃 是将一 个真实 标记为Cj的样本误原创 2021-07-13 20:08:01 · 514 阅读 · 3 评论 -
ML (Chapter 8): 集成学习 (Ensemble Learning)
本文为《机器学习》(周志华) 的读书笔记参考 南瓜书目录个体与集成Boosting: AdaBoost个体与集成集成学习 (ensemble learning) 通过 构建并结合多个个体学习器 (individual learner) 来完成学习任务同质 (homogeneous) 集成: 集成中只包含同种类型的个体学习器 (基分类器,base learner),例如 “决策树集成” 中全是决策树,"神经网络集成"中全是神经网络异质 (homogeneous) 集成: 集成包含不同类型原创 2021-05-05 16:25:10 · 454 阅读 · 2 评论 -
ML (Chapter 9): 聚类 (clustering)
本文为《机器学习》(周志华) 的读书笔记参考 南瓜书目录聚类任务性能度量外部指标内部指标聚类任务unsupervised learning聚类试图将数据集中的无标记样本划分为若干个通常是不相交的子集,每个子集称为一个 “簇" (cluster). 通过这样的划分,每个簇可能对应于一些潜在的概念(类别)聚类既能作为一个单独过程,用于找寻数据内在的分布结构,也可作为分类等其他学习任务的前驱过程例如,在一些商业应用中需对新用户的类型进行判别,但定义”用户类型” 对商家来说却可能不太容易,原创 2021-05-08 19:33:07 · 1072 阅读 · 0 评论 -
ML (Chapter 10): 降维与度量学习
本文为《机器学习》(周志华) 的读书笔记参考 南瓜书目录kkk 近邻学习 (kkkNN)低维嵌入密采样 (dense sample)维数灾难 (curse of dimensionality)降维 (dimension reduction)线性降维方法多维缩放 (Multiple Dimensional Scaling,MDS)kkk 近邻学习 (kkkNN)kkk-Nearest Neighborkkk 近邻学习是一种常用的监督学习方法:给定测试样本,基于某种距离度量找出训练集中与其原创 2021-06-05 20:33:41 · 164 阅读 · 0 评论