![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
lynn_1900
这个作者很懒,什么都没留下…
展开
-
XGBoost
文章目录Bagging和BoostingXGboost提升树——基于残差的训练模型构造目标函数树fK?f_{K}?fK? 树的复杂度Ω(fK)?\Omega(f_{K})?Ω(fK)?树的复杂度新的目标函数如何寻找树的形状?Bagging和Boosting相同点:都是集成模型。不同点:1. Bagging是过拟合的弱分类器的集成,算各模型预测值的加权平均,如随机森林;2. Boosting是欠拟合弱分类器的集成,算各模型预测值的和。XGboost提升树——基于残差的训练Example:训原创 2020-07-02 00:05:19 · 291 阅读 · 0 评论 -
关于python的一些操作
文章目录关于python的一些操作数据读取解决中文显示的问题numpy可视化sklearn特征工程——数据预处理模型评估与选择关于python的一些操作数据读取scipy.io.loadmat('name.mat')skimage.io.imread('name.png')skimage.io.imshow(data)解决中文显示的问题# matplotlib不会每次启动时都重新扫描所有的字体文件并创建字体索引列表,# 因此在复制完字体文件之后,需要运行下面的语句以重新创建字体索引列表f原创 2020-06-18 10:28:24 · 188 阅读 · 0 评论 -
推荐系统
文章目录推荐系统1 模型2 基于内容的推荐系统 (给定 x1,…,xmx_{1},\dots,x_{m}x1,…,xm , 估计 θ1,⋯ ,θn\theta_{1},\cdots,\theta_{n}θ1,⋯,θn)2.1 训练数据集2.2 代价函数梯度2.3 目标函数2.4 算法:梯度下降法3 给定 θ1,⋯ ,θn\theta_{1},\cdots,\theta_{n}θ1,⋯,θn , 估计 x1,…,xmx_{1},\dots,x_{m}x1,…,xm3.1 训练数据集3.2原创 2020-06-15 10:47:37 · 317 阅读 · 0 评论 -
异常检测
文章目录1 异常检测1.1 高斯分布1.2 异常检测算法1.3 异常检测 v.s. 监督学习1.4 特征选择1.4.1 特征变换1.4.2 特征的选择2 异常检测 (特征之间不独立的情况)2.1 多元高斯分布2.2 异常检测算法2.3 原始高斯 v.s. 多元高斯1 异常检测1.1 高斯分布假设每个特征都是服从高斯分布的:X(j)∼N(μj,σj2), j=1,⋯ ,nX^{(j)}\sim N(\mu_{j},\sigma_{j}^{2}),\ j=1,\cdots,nX(j)∼N(原创 2020-06-15 10:27:26 · 146 阅读 · 0 评论 -
K-均值聚类
文章目录K-均值聚类1 假设2 代价函数3 目标函数4 算法5 补充5.1 随机初始化5.2 K的选择——"肘部法则"6 代码K-均值聚类1 假设对于m个样本点,假设有K个类,每个类的中心分别为 μ1,⋯ ,μK∈Rn\mu_{1},\cdots,\mu_{K}\in \mathbb{R}^{n}μ1,⋯,μK∈Rn,样本点的分类为 C={ci},ci∈1,⋯ ,KC=\{c_{i}\}, c_{i}\in{1,\cdots,K}C={ci},ci∈1,⋯,K.2 代价函数J(c1,⋯ ,原创 2020-06-15 09:44:54 · 161 阅读 · 0 评论 -
支持向量机 (SVM)
文章目录支持向量机 (SVM)1 线性可分支持向量机1.1 线性可分支持向量机1.2 目标函数——硬间隔最大化1.3 学习的对偶算法2 软间隔支持向量机2.1 Hypothsis2.2 目标函数——最大化软间隔2.3 转化为对偶问题求解3 线性不可分支持向量机——引入核函数3.1 核函数3.2 Hypothesis——用ϕ(x)\phi(x)ϕ(x)代替xxx3.3 目标函数3.4 转化为对偶问题求解4 序列最小化 (SMO) 算法支持向量机 (SVM)1 线性可分支持向量机1.1 线性可分支持向量机原创 2020-06-12 18:56:12 · 353 阅读 · 0 评论 -
一些零碎的知识点
文章目录一些零碎的知识点知识点一:Lagrange对偶性知识点二:多类别分类: 一对多 (one-vs-all)知识点三:特征映射一些零碎的知识点知识点一:Lagrange对偶性参考李航老师的《统计学习方法》原始问题给定凸优化问题minxf(x)s.t.gi(x)≤0, i=1,⋯ ,mhj(x)=0, j=1,⋯ ,n \begin{aligned} \min_{x}\quad &f(x) \\ s.t.\quad &g_{i}(x) \l原创 2020-06-12 18:21:26 · 134 阅读 · 0 评论 -
机器学习算法评估与优化策略
文章目录机器学习算法评估与优化策略1 机器学习诊断1.1 数据集1.2 误差1.3 诊断偏差、方差问题1.4 利用学习曲线诊断2 策略3 查全率和查准率 (Precision/Recall)机器学习算法评估与优化策略1 机器学习诊断1.1 数据集训练集70%-测试集30%通过训练集让我们的模型学习得出其参数后,对测试集运用该模型。训练集60%-交叉验证集20%-测试集20% ✓\checkmark✓假设我们要在10个不同次数的二项式模型之间进行选择,模型选择的方法为:使用训练集原创 2020-06-12 18:01:16 · 607 阅读 · 0 评论 -
神经网络 (Neural Network)
文章目录神经网络 (Neural Network)0. 简单引入1. 数据2. 模型前向传播模型 (Forward Propogation)决策函数3. 代价函数4. 代价函数的梯度反向传播算法 (Backward Propogation)总结5. 目标函数算法:梯度下降6 预测及验证神经网络 (Neural Network)0. 简单引入只有输入层-输出层的神经网络 (感知机), 只能处理线性可分的问题, 如与(and)、或(or)、非(not):hθ(x)=g(θTx)h_{\theta}(x原创 2020-06-12 17:40:53 · 303 阅读 · 0 评论 -
逻辑回归和Softmax回归
逻辑回归 Logistic Regression1 逻辑回归 (Logistic Regression)1.1 数据 (Data)1.2 假设 (Hypothesis)1.3 对数似然函数 (Log Likelihood)1.4 代价函数 (Cost Function)1.5 代价函数的梯度 (Gradient)1.6 目标函数 (Goal)1.7 求解 θ∗\theta^*θ∗算法1 批量梯度下降 (Batch Gradient Descent)算法2 优化算法1.8 决策函数 (Decision Fun原创 2020-06-11 13:42:05 · 872 阅读 · 0 评论 -
多元线性回归
多变量线性回归1 多变量线性回归1.1 Data (数据)1.2 Hypothesis (假设)1.3 Cost Function (代价函数)1.4 Gradient (代价函数的梯度)1.5 Goal (目标)1.6 求解 θ∗\theta^*θ∗算法1 正规方程 (Normal Equation)算法2 批量梯度下降 (Batch Gradient Descent)两种算法比较2 正规化的线性回归模型2.1 Hypothesis (假设) (不变)2.2 Cost Function (代价函数)2.3原创 2020-06-11 12:42:17 · 238 阅读 · 0 评论