![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习笔记
文章平均质量分 79
笑给我看
学生一枚~ 励志成为人工智能工程师
展开
-
L1,L2正则化
何为正则化 正则化就是给模型加上的一个“项”,我们先来看一个图 对于这么一个模型,它在训练数据集上取得的成绩很好,但是有一个问题存在,模型太过于复杂了,往往这样的一个模型将它放在实际问题当中发挥的效果不会很好,方差过大不稳定,这就导致过拟合的现象发生,于是我们引入正则项,对模型加以限制,对复杂模型进行惩罚,因此又叫惩罚项* 这里的R就是我们需要引入的正则化项,我们在计算损失函数添加正则化项...原创 2018-09-30 22:00:49 · 211 阅读 · 0 评论 -
刁钻数据的处理(处理不平衡数据)
不平衡数据分类学习 一、 不平衡数据的出现场景 搜索引擎的点击预测 点击的网页往往占据 很小的比例 电子商务领域的商品推荐 推荐的商品被购买的 比例很低 信用卡欺诈检测 网络攻击识别 … 二、 解决方案 2.1 从数据的角度:抽样,从而使得数据相对均衡 随机欠采样:从多数类中随机选择少量样本再合并原有少数类样本作为新的训练数据集 有放回采样 无放回采样 会造成一些信息缺失,...原创 2019-04-23 11:23:55 · 239 阅读 · 0 评论 -
Jacobian矩阵和Hessian矩阵
Jacobian矩阵和Hessian矩阵转载 2019-02-02 23:37:41 · 396 阅读 · 0 评论 -
生成模型和判别模型
机器学习与深度学习里生成模型和判别模型的理解原创 2019-02-02 23:17:02 · 96 阅读 · 0 评论 -
机器学习-入门
前言(废话) 学习机器学习已经有段时间了,之前一直是在用思维导图做的笔记,今天终于打算在博客上分享自己学习过程中的一些知识,这是我第一次公开分享,难免有些差强人意,希望大家不要吐口水,ok,咱们进入正题 what is Machine-learning? 机器学习 机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分...原创 2018-09-30 14:46:08 · 276 阅读 · 3 评论 -
线性回归——机器学习的第一个算法
介绍 定义:线性回归在假设特证满足线性关系,根据给定的训练数据训练一个模型,并用此模型进行预测。 (小萌A:)什么意思? 简单来说,我们把每个数据样本比作一个点,对于这堆点,我们试着用一条直线去拟合它们,尽可能的使得这些点均匀的分布在直线的两边,像这样: x轴表示数据样本,y轴表示通过数据样本得到的结果 我们拟合出一条最优的直线后,当有新的数据出现时,我们可以通过这条直线来预测对应的y值,就是这个...原创 2018-09-30 14:45:09 · 204 阅读 · 0 评论 -
笔记—数据预处理
前言(~废话) 为了建立一个好的机器学习模型,对数据进行一定的处理是十分有必要的,接下来简单介绍几种初级的处理方法,后续将补充其他的数据处理的操作 线性回归之多项式转换 先来看一张图: 对于很多场景下,对样本直接进行线性回归可能并不能达到很好的效果,比如图1 可能你已经想到可以对数据集进行多项式转换,图1中,我们的数学模型为: 多项式转换后我们的数学模型可以为m次方程: 通过多项式转换,我们...原创 2018-09-30 14:42:39 · 403 阅读 · 0 评论 -
分类问题——Logistic分类器/softmax分类器
Sigmoid 先来了解一个函数——sigmoid: 它所对应的图像为 sigmoid函数中,z作为我们的自变量,它的范围可以在(-∞,+∞),但是当z映射到sigmoid当中的,它的范围则为(0,1),这个范围是不是容易让你联想到概率?当我们的概率大于0.5,我们记作正类,当概率小于0.5,记作负类 回归原理 有了接下来我们需要确定我们分类的边界,有时候我们的分类边界是线性的,有时候分...原创 2018-10-01 11:44:59 · 872 阅读 · 0 评论 -
决策树
决策树 一、 基本介绍 1.1 树模型 决策树:从根节点开始一步步走到叶子节点(决策) 所有的数据最终都会落到叶子节点,既可以做分类也可以做回归 1.2 树的组成 根节点:第一个选择点 非叶子节点与分支:中间过程 叶子节点:最终的决策结果 1.3 决策树的训练与测试 训练阶段:从给定的训练集构造出来一棵树(从根节点开始选择特征,如何进行特征切分) 测试阶段:根据构造出来的...原创 2019-05-01 12:02:15 · 204 阅读 · 0 评论