![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习学习笔记
文章平均质量分 92
Giao哥不瘦到100不改名
博览群书
展开
-
机器学习有关的概率论与信息论基本知识
本文内容参考 机器学习相关的概率论和信息论基础知识概率论 是很多机器学习的算法的构建模型的基础,信息论 可以描述随机事件的信息量也可以计算两种概率分布的差异。@机器学习有关的概率论和信息论基础概率论概率;随机事件;随机变量;1.某次试验具有偶然性;相同条件下的大量重复实验具有规律性。2.一个随机试验的可能结果(称为基本事件)的全体组成一个基本空间Ω。随机变量X是定义在基本空间Ω上的取值为实数的函数,即基本空间Ω中每一个点,也就是每个基本事件都有实轴上的点与之对应。概率质量函数;概率密度函数;原创 2021-05-28 15:50:43 · 872 阅读 · 0 评论 -
机器学习基础学习笔记(十)激活函数---- 网络的表示能力、学习能力
以下内容均为https//nndl.github.io/nndl-book.pdf的学习笔记。激活函数性质为了增强网络的表示能力和学习能力,激活函数需要具备以下几点性质:(1) 连续并可导(允许少数点上不可导)的非线性函数.可导的激活函数可以直接利用数值优化的方法来学习网络参数.(2) 激活函数及其导函数要尽可能的简单,有利于提高网络计算效率.(3) 激活函数的导函数的值域要在一个合适的区间内,不能太大也不能太小,否则会影响训练的效率和稳定性.总结:非线性、连续可微、范围最好不饱和、单调性、原原创 2020-07-21 18:18:05 · 1115 阅读 · 0 评论 -
机器学习基础学习笔记(九)机器学习模型的评价指标-准确率、精确率、召回率和F值
以下内容均为https//nndl.github.io/nndl-book.pdf的学习笔记。为了衡量一个机器学习模型的好坏,需要给定一个测试集,用模型对测试集中的每一个样本进行预测,并根据预测结果计算评价分数.对于分类问题,常见的评价标准有准确率、精确率、召回率和F值等.给定测试集???? = {(????(1), ????(1)), ⋯ , (????(????), ????(????))},假设标签????(????) ∈ {1, ⋯ , ????},用学习好的模型????(????; ????∗原创 2020-07-21 10:02:26 · 1203 阅读 · 0 评论 -
机器学习基础学习笔记(八)特征选择与特征提取
以下内容均为https//nndl.github.io/nndl-book.pdf的学习笔记。这里写目录标题数据的特征表示传统特征学习方法1.特征选择(Feature Selection)2.特征提取(Feature Extraction)3.优点深度特征学习方法数据的特征表示1.原始特征(Raw Feature)需要为向量形式。其存在以下不足:1)特征比较单一,需要进行(非线性的)组合才能发挥其作用;2)特征之间冗余度比较高;3)并不是所有的特征都对预测有用;4)很多特征通常是易变的;5)原创 2020-07-20 22:44:11 · 2859 阅读 · 0 评论 -
机器学习基础学习笔记(七)机器学习算法的类型(监督,无监督,强化学习)
以下内容均为https//nndl.github.io/nndl-book.pdf的学习笔记。这里写目录标题监督、无监督、强化学习监督学习(Supervised Learning)无监督学习(Unsupervised Learning,UL)强化学习(Reinforcement Learning,RL)改进监督、无监督、强化学习按照训练样本提供的信息以及反馈方式的不同,将机器学习算法分为以下几类:监督学习、无监督学习、强化学习。监督学习(Supervised Learning)监督学习(Super原创 2020-07-20 20:20:37 · 2017 阅读 · 0 评论 -
机器学习基础学习笔记(六)偏差-方差分解角度来避免过拟合、欠拟合
这里写目录标题偏差-方差分解存在问题偏差-方差分解(Bias-Variance Decomposition)的作用偏差与方差的意义偏差与方差值图示偏差与方差值对于欠拟合与过拟合指导偏差-方差分解存在问题拟合能力强模型,复杂度高,但存在过拟合问题。复杂度低的模型,拟合能力弱,存在欠拟合问题。如何平衡好拟合能力与复杂度之间的关系?偏差-方差分解(Bias-Variance Decomposition)的作用偏差与方差的意义偏差(Bias):指一个模型在不同训练集上的平均性能和最优模型的差异,可原创 2020-07-20 19:47:00 · 745 阅读 · 0 评论 -
机器学习基础学习笔记(五)线性回归
以下内容均为https//nndl.github.io/nndl-book.pdf的学习笔记。机器学习的简单示例-线性回归线性回归(Linear Regression)概述简介线性回归之参数学习1.经验风险最小化1)求解步骤2)求解条件3)????????T 不可逆时解决方法2.结构风险最小化1)为什么提出?2) 如何解决?3.最大似然估计4.最大后验估计1)为什么需要最大后验估计?2)步骤线性回归(Linear Regression)概述简介是一种对自变量和因变量之间关系进行建模的回归分析.自变量原创 2020-07-18 20:24:34 · 343 阅读 · 0 评论 -
机器学习基础学习笔记(四)优化算法
以下内容均为https//nndl.github.io/nndl-book.pdf的学习笔记。在确定了训练集????、假设空间ℱ 以及学习准则后,如何找到最优的模型????(????, ????∗) 就成了一个最优化(Optimization)问题.机器学习的训练过程其实就是最优化问题的求解过程.优化算法1.参数与超参数优化又可以分为参数优化和超参数优化。参数:模型????(????; ????) 中的???? 称为模型的参数,可以通过优化算法进行学习。超参数:用来定义模型结构或优化策略的的参数原创 2020-07-18 17:29:14 · 307 阅读 · 1 评论 -
机器学习基础学习笔记(三)过拟合、欠拟合
3.优化算法三.机器学习的简单示例-线性回归1.参数学习四.偏差-方差分解五.机器学习算法的类型六.数据的特征表示1.传统的特征学习2.深度学习方法七.评价指标八.理论和定理1.PAC学习理论2.没有免费午餐定理3.奥卡姆剃刀原理4.丑小鸭定理5.归纳偏置...原创 2020-07-18 16:45:59 · 387 阅读 · 0 评论 -
机器学习基础学习笔记(二)机器学习概述
机器学习概述一.基本概念二.机器学习的三个基本要素1.模型2.学习准则三级目录一.基本概念二.机器学习的三个基本要素1.模型2.学习准则三级目录原创 2020-07-18 09:08:51 · 906 阅读 · 0 评论 -
机器学习基础学习笔记(一)
声明:笔记均来源于邱锡鹏xpqiu@fudan.edu.cn的《神经网络与深度学习》一书,开源资源见:https//nndl.github.io/nndl-book.pdf一.绪论基本的深度学习相当于函数逼近问题,即函数或曲面的拟合,所不同的是,这里用作基函数的是非线性的神经网络函数,而原来数学中用的则是多项式、三角多项式、B-spline、一般spline以及小波函数等的线性组合。由于神经网络的非线性和复杂性(要用许多结构参数和连接权值来描述),它有更强的表达能力,即从给定的神经网络函数族中可能找到原创 2020-07-17 17:12:40 · 1938 阅读 · 0 评论