MachineLearning
文章平均质量分 96
咕叽咕叽小菜鸟
幸福的深度等于等待的长度。。。fighting!!!
展开
-
统计机器学习相关概念总结(下)
统计机器学习相关概念总结(下)5. 泛化能力5.1 泛化误差5.2 泛化误差上界6. 生成模型与判别模型7. 方差与偏差8. 多分类学习9. 类别不均衡(class-imbalance)问题完整代码地址参考ML相关概念总结系列文章:统计机器学习相关概念总结(上)统计机器学习相关概念总结(中)统计机器学习相关概念总结(下)5. 泛化能力5.1 泛化误差泛化误差:学到的模型对未知数据预测的误差:Rexp(f^)=Ep[L(Y,f^(X))]=∫X×YL(Y,f^(X))P(x,y)dxdy原创 2021-02-16 23:28:22 · 251 阅读 · 0 评论 -
统计机器学习相关概念总结(中)
统计机器学习相关概念总结(中)4. 模型评估与模型选择4.1 模型评估分类问题评估(1)error rate(2)accuracy(3)precision & recall(4)P-R曲线(5)F1值 & FβF_\betaFβ(6)宏平均(macro-avg)& 微平均(micro-avg)(7)ROC曲线 & AUC回归问题评估4.2 模型选择(1)正则化(2)交叉验证完整代码地址参考ML相关概念总结系列文章:统计机器学习相关概念总结(上)统计机器学习相关概念总原创 2021-02-16 23:13:36 · 336 阅读 · 0 评论 -
统计机器学习相关概念总结(上)
统计机器学习相关概念总结(上)1. 统计学习分类1.1 基本分类(1)监督学习(2)无监督学习(3)强化学习1.2 按模型种类分类(1)概率模型与非概率模型(2)线性模型与非线性模型1.3 按算法分类(1)在线学习(2)批量学习1.4 按技巧分类(1)贝叶斯学习(2)核方法2. 统计学习三要素2.1 模型2.2 策略(学习的准则)2.2.1 损失函数和风险函数损失函数的期望2.2.2 经验风险最小化与结构风险最小化(1)经验风险最小化(2)结构风险最小化2.3 算法3. 监督学习方法特点总结完整代码地址参考原创 2021-02-16 23:08:23 · 446 阅读 · 0 评论 -
集成学习原理小结(AdaBoost & lightGBM demo)
集成学习原理小结(AdaBoost & lightGBM demo)1. 集成学习概述1.1 集成学习是什么?1.2. 为什么要进行集成学习?2. 常见的集成学习算法2.1 Boosting2.1.1 AdaBoost算法算法描述算法说明算法训练误差分析学习算法—前向分步算法算法评价2.1.2 梯度提升树2.2 Bagging随机森林3. 常见的结合策略3.1 平均法3.2 投票法3.3 学习法(Stacking)4. 如何增强多样性?5. 代码示例5.1 AdaBoost demo5.2 ligh原创 2021-02-15 17:30:12 · 941 阅读 · 1 评论 -
BiLSTM-CRF实现中文命名实体识别(NER)
BiLSTM-CRF实现命名实体识别(NER)完整代码地址参考本博客中使用到的完整代码请移步至: 我的github:https://github.com/qingyujean/Magic-NLPer,求赞求星求鼓励~~~HMM系列文章:条件随机场(CRF)原理小结(1)条件随机场(CRF)原理小结(2)BiLSTM-CRF实现命名实体识别(NER)完整代码地址完整代码请移步至: 我的github:https://github.com/qingyujean/Magic-NLPer,求赞求星求鼓原创 2021-02-11 00:35:06 · 5872 阅读 · 33 评论 -
条件随机场(CRF)原理小结(2)
条件随机场(CRF)原理小结(2)6. 线性链CRF的3个基本问题6.1 问题1:概率计算问题6.1.1 前向-后向算法6.1.2 概率计算6.1.3 期望值的计算6.2 问题2:学习问题6.2.1 改进的迭代尺度法6.2.2 梯度下降法6.3 问题3:预测问题维特比算法描述模型评价完整代码地址参考本博客中使用到的完整代码请移步至: 我的github:https://github.com/qingyujean/Magic-NLPer,求赞求星求鼓励~~~HMM系列文章:条件随机场(CRF)原理小结(原创 2021-02-10 17:34:05 · 343 阅读 · 1 评论 -
条件随机场(CRF)原理小结(1)
条件随机场(CRF)原理小结(1)1. CRF学习方法简要概括2. 相关概念2.1 概率图模型2.1.1 有向概率图模型(贝叶斯网)2.1.2 无向概率图模型(马尔科夫网)2.1.3 有向图、无向图模型比较2.2 生成式模型 vs 判别式模型两种模型比较2.3 RF→\rightarrow→MRF→\rightarrow→CRF→\rightarrow→linear chain CRF2.3.1 随机场(RF)2.3.2 马尔科夫随机场(MRF)2.3.3 条件随机场(CRF)2.3.4 线性链条件随机场(原创 2021-02-10 16:53:49 · 921 阅读 · 1 评论 -
手撸HMM实现词性标注(Part-of-speech)
手撸HMM实现词性标注(Part-of-speech)1. 环境准备2. 使用HMM 实现词性标注2.1 句子开始和结束标记2.2 问题2--HMM参数估计:统计词频计算概率(1)发射概率估计(2)转移概率估计(3)初始状态概率分布问题1--求解观测序列概率2.3 问题3--预测问题:vitervi算法实现(1)初始化(2)递推(3)终止(4)最优路径回溯完整代码地址本博客中使用到的完整代码请移步至: 我的github:https://github.com/qingyujean/Magic-NLPer,求原创 2021-02-02 21:05:32 · 1744 阅读 · 0 评论 -
隐马尔科夫模型(HMM)原理小结(2)
隐马尔科夫模型(HMM)原理小结(2)4. 基本问题二:学习问题 模型参数估计 λ=(A,B,π)\lambda=(A,B,\pi)λ=(A,B,π)4.1 监督学习方法(1)转移概率aija_{ij}aij的估计(2)观测概率bj(k)b_j(k)bj(k)的估计(3)初始状态概率πi\pi_iπi的估计4.2 无监督学习方法:Baum-Welch算法(EM)4.2.1 确定完全数据的对数似然函数4.2.2 E步:求QQQ函数Q(λ∣λˉ)Q(\lambda|\bar{\lambda})Q(λ∣λˉ原创 2021-02-02 21:04:20 · 593 阅读 · 0 评论 -
隐马尔科夫模型(HMM)原理小结(1)
隐马尔科夫模型(HMM)原理小结1. 什么是马尔科夫链1.1 马尔科夫过程1.2 k阶马尔科夫链1.3 1阶马尔科夫链2. 什么是隐马尔可夫链(HMM)2.1 HMM基本定义2.2 HMM的2个基本假设(1)齐次马尔科夫性假设(2)观测独立性假设2.3 观测序列的生成过程2.4 HMM的3个基本问题3. 基本问题一:观测序列概率P(O∣λ)P(O|\lambda)P(O∣λ)计算3.1 直接计算3.2 前向算法3.3 后向算法3.4 前向-后向概率 统一表示P(O∣λ)P(O|\lambda)P(O∣λ)3原创 2021-02-02 21:02:44 · 637 阅读 · 0 评论 -
EM(Expectation Maximization)算法原理小结
EM(Expectation Maximization)算法原理小结1. EM 算法1.2 为什么需要EM算法?1.2 EM 算法推导EM算法关键:下边界函数EM算法解释QQQ函数的定义EM算法1.3 算法总结参考适用问题:概率模型参数估计模型特点:含有隐变量的概率模型模型类型:-损失函数:对数似然损失学习策略:极大似然估计,最大后验概率估计学习算法:迭代算法1. EM 算法EM算法是一种 迭代算法,用于含有隐变量的概率模型参数的极大似然估计或极大后验概率估计。EM算法的每次迭代分2步:原创 2021-01-30 21:16:28 · 285 阅读 · 0 评论 -
朴素贝叶斯(naive bayes)原理小结
朴素贝叶斯原理小结1. 支持向量回归(SVR)分类算法2. 模型评价完整代码地址参考本博客中使用到的完整代码请移步至: 我的github:https://github.com/qingyujean/Magic-NLPer,求赞求星求鼓励~~~1. 支持向量回归(SVR)分类算法2. 模型评价SVM系列至此就介绍完了,这里对该模型做一个评价总结。评价内容摘自刘建平老师的支持向量机原理(五)线性支持回归:SVM算法是一个很优秀的算法,在集成学习和神经网络之类的算法没有表现出优越性能前,SVM基本原创 2021-01-27 22:59:17 · 1043 阅读 · 0 评论 -
支持向量机(SVM)原理小结(3)支持向量回归SVR
支持向量机(SVM)原理小结(3)支持向量回归SVR1. 支持向量回归(SVR)1.1 学习算法—对偶形式(1)求minw,b,ξ,ξ^L(w,b,ξ,ξ^,α,α^,μ,μ^)\min\limits_{w,b,\xi,\hat\xi} L(w, b, \xi, \hat\xi, \alpha, \hat\alpha, \mu, \hat\mu)w,b,ξ,ξ^minL(w,b,ξ,ξ^,α,α^,μ,μ^)(2)求minw,b,ξ,ξ^L(w,b,ξ,ξ^,α,α^,μ,μ^)\min\lim原创 2021-01-24 04:51:33 · 9583 阅读 · 5 评论 -
支持向量机(SVM)原理小结(2)非线性支持向量机
支持向量机(SVM)原理小结(2)非线性支持向量机1. 非线性支持向量机1.1 图示举例1.2 核技巧1.3 核技巧在支持向量机中的应用1.4 常用核函数1.5 学习算法1.6 联想:多项式回归(线性回归推广)2. 代码示例:使用非线性kernel SVM解决非线性问题完整代码地址参考本博客中使用到的完整代码请移步至: 我的github:https://github.com/qingyujean/Magic-NLPer,求赞求星求鼓励~~~1. 非线性支持向量机什么是非线性分类问题:通过利用非线性模型原创 2021-01-24 04:32:36 · 2618 阅读 · 0 评论 -
支持向量机(SVM)原理小结(1)线性支持向量机
支持向量机(SVM)原理小结1. 线性可分支持向量机(硬间隔SVM)2. 线性支持向量机(软间隔SVM)3. 非线性支持向量机4. 支持向量回归(SVR)5. 代码示例6. 模型评价完整代码地址参考本博客中使用到的完整代码请移步至: 我的github:https://github.com/qingyujean/Magic-NLPer,求赞求星求鼓励~~~1. 线性可分支持向量机(硬间隔SVM)线性可分训练数据集的最大间隔超平面是存在且唯一的。2. 线性支持向量机(软间隔SVM)3. 非线性原创 2021-01-24 03:58:29 · 1353 阅读 · 0 评论 -
感知机(Perception)原理小结
感知机(Perception)原理小结1. 感知机模型2. 感知机学习策略3. 感知机学习算法3.1 感知机学习算法的原始形式3.2感知机学习算法的对偶形式4. 模型评价系列博客地址参考完整系列博客请移步至: 我的github:https://github.com/qingyujean/Magic-NLPer,求赞求星求鼓励~~~感知机是二类分类的 线性分类模型,对应于特征空间中将实例划分为正负两类的 分离超平面,属于判别模型。感知机学习算法有 原始形式 和 对偶形式。适用问题:二类分类模型特点:原创 2021-01-17 15:06:59 · 5134 阅读 · 0 评论 -
k近邻法(KNN)原理小结
k近邻法(KNN)原理小结1. k 近邻法算法2. k 近邻法模型2.1 k值的选择2.2 距离度量2.3 分类决策规则3. k 近邻法实现:kd(k-dimension)树3.1 构造kd树3.2 搜索kd树3.3 kd 树预测4. 代码示例5. 模型评价完整代码地址参考本博客中使用到的完整代码请移步至: 我的github:https://github.com/qingyujean/Magic-NLPer,求赞求星求鼓励~~~1. k 近邻法算法k-nearest neighbors (k-NN),原创 2021-01-07 12:07:51 · 1810 阅读 · 0 评论 -
XGBoost使用
XGBoost使用1. XGBoost原理简介2. XGBoost参数说明3. 使用示例完整代码地址参考1. XGBoost原理简介XGBoost本质上还是GBDT,但它把算法的速度和效率做到了极致,所以叫X(Extreme)GBoost。XGBoost主要从以下方面做了优化:算法本身的优化弱学习器的选择上,除了 树模型,还支持线性模型等。在损失函数上,加入了正则化项。算法运行效率的优化算法健壮性的优化2. XGBoost参数说明3. 使用示例完整代码地址完整代码请移步至:原创 2020-12-27 19:26:59 · 1772 阅读 · 1 评论 -
梯度提升树(GBDT)原理小结
梯度提升树(GBDT)原理小结1. boosting2. 提升树(boosting tree)2.1 提升树模型2.2 提升树算法:前向分步算法2.3 分类问题的提升树算法2.4 回归问题的提升树算法3. 梯度提升树(gradient boosting)3.1 分类问题的梯度提升树算法3.2 回归问题的梯度提升树算法4. 代码示例5. 模型评价完整代码地址参考接着之前的 决策树 章节和 随机森林 章节,接下来还会继续介绍一些基于决策树的,具有代表性的集成模型,如GBDT,XGBoost以及lightGBM原创 2020-12-12 16:04:19 · 3527 阅读 · 0 评论 -
随机森林(Random Forest)原理小结
随机森林(Random Forest)原理小结1. bagging2. 随机森林(RF)2.1 RF 分类2.2 特征重要性2.3 RF 回归3. 模型评价4. 参考接着上一章节的决策树模型,接下来会介绍一些基于决策树的,具有代表性的集成模型,如随机森林(RF),GBDT,XGBoost以及lightGBM。本章主要介绍随机森林(Random Forest,简写RF),RF是bagging集成模型的扩展变体,所以前面会简要介绍一些关于bagging的内容,后面会有专门的“集成学习”的章节来重点介绍bag原创 2020-11-23 22:43:58 · 12566 阅读 · 4 评论 -
决策树(Decision Tree)原理小结
决策树(Decision Tree)原理小结1. 决策树1.1 决策树基础概念1.2 决策树的学习1.3 决策树学习的3个步骤2. ID3算法2.1 特征选择准则:信息增益2.2 决策树生成算法2.3 决策树剪枝算法3. C4.5算法3.1 特征选择准则:信息增益比3.2 决策树生成算法3.3 决策树剪枝算法4. CART算法4.1 特征选择准则:基尼系数4.2 决策树生成算法4.3 决策树剪枝算法5. 决策树延伸6. 参考1. 决策树1.1 决策树基础概念1.2 决策树的学习1.3 决策树学习的3原创 2020-11-20 22:22:28 · 1528 阅读 · 0 评论 -
最大熵(max entropy)模型原理小结
1. 认识各种“熵”2. 最大熵模型2.1 最大熵原理 最大熵原理是概率模型学习的一个准则。最大熵原理认为:学习概率模型时,在所有可能的概率模型(分布)中,熵最大的模型时最好的模型。通常用约束条件来确定概率模型的集合,所以,最大熵原理也可以表述为:在满足约束条件的模型集合中选取熵最大的模型。2.2 模型的定义 将最大熵原理应用到分类,就得到最大熵模型。学习的目标就是用最大熵原理选择最好的模型。 最大熵模型是指“条件熵”最大的模型。 给定训练样本集(假设含有N个样本)T=原创 2020-11-12 20:20:16 · 3456 阅读 · 0 评论 -
逻辑斯蒂回归(logistic regression)原理小结
1. 模型函数2. 损失函数3. 学习算法4. 加正则项的逻辑斯蒂回归5. 二分类 vs 多分类原创 2020-11-08 15:30:12 · 5025 阅读 · 0 评论 -
线性回归(Linear Regression)原理小结
1. 模型函数 m个样本,每个样本x\pmb{x}xxx有n个属性/特征描述,第i个样本的属性描述为:xi=(xi(1),xi(2),...,xi(n))\pmb{x_i}=(x_i^{(1)},x_i^{(2)},...,x_i^{(n)})xixixi=(xi(1),xi(2),...,xi(n))。线性回归尝试使用属性/特征的线性组合来对 x\pmb{x}xxx–>h(x)h(\pmb{x})h(xxx)进行预测,其中h(x)h(\pmb{x})h(xxx)为连续值。即原创 2020-11-07 20:59:02 · 1569 阅读 · 0 评论