![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
conquer997
靠才华才是硬道理!加油!奥里给!
展开
-
西瓜书总复习之第4章-决策树
第4章-决策树4、决策树4.1 决策树基本概念4.2 决策树的构造4.2.1 ID3算法4.2.2 C4.5算法4.2.3 CART算法4.3 剪枝处理4.4 连续值与缺失值处理4、决策树(本文仅为个人方便复习回顾)之前的线性模型从最简单的最小二乘法开始,讨论输入属性有一个和多个的情形,接着通过广义线性模型延伸开来,将预测连续值的回归问题转化为分类问题,从而引入了对数几率回归,最后线性判别分析LDA将样本点进行投影,多分类问题实质上通过划分的方法转化为多个二分类问题进行求解。本篇将讨论另一种被广泛使用原创 2020-06-18 22:15:36 · 497 阅读 · 0 评论 -
西瓜书总复习之第3章-线性模型
第3章-线性模型3、线性模型3.1 线性回归3.2 线性几率回归3.3 线性判别分析3.4 多分类学习3.5 类别不平衡问题3、线性模型(本文仅为个人方便复习回顾)谈及线性模型,其实我们很早就已经与它打过交道,还记得高中数学必修3课本中那个顽皮的“最小二乘法”吗?这就是线性模型的经典算法之一:根据给定的(x,y)点对,求出一条与这些点拟合效果最好的直线y=ax+b,之前我们利用下面的公式便可以计算出拟合直线的系数a,b(3.1中给出了具体的计算过程),从而对于一个新的x,可以预测它所对应的y值。前面我原创 2020-06-04 17:28:35 · 444 阅读 · 1 评论 -
西瓜书总复习之第2章-模型的评估与选择
第2章-模型评估与选择2 模型的评估与选择2.1 误差与过拟合2.2 评估方法2.3 训练集与测试集的划分方法2.3.1 留出法2.3.2 交叉验证法2.3.3 自助法2.4 调参2.5 性能度量2.5.1 最常见的性能度量2.5.2 查准率/查全率/F12.5.3 ROC与AUC2.5.4 代价敏感错误率与代价曲线2.6 比较检验2.6.1 假设检验2.6.2 交叉验证t检验2.6.3 McNemar检验2.6.4 Friedman检验与Nemenyi后续检验2.7 偏差与方差2 模型的评估与选择原创 2020-06-02 23:19:57 · 674 阅读 · 0 评论 -
西瓜书总复习之第1章-绪论
第1章-绪论1 绪论1.1 机器学习的定义1.2 机器学习的一些基本术语2 模型的评估与选择2.1 误差与过拟合2.2 评估方法2.3 训练集与测试集的划分方法2.3.1 留出法2.3.2 交叉验证法2.3.3 自助法2.4 调参(本文仅为个人方便复习回顾)机器学习是目前信息技术中最激动人心的方向之一,其应用已经深入到生活的各个层面且与普通人的日常生活密切相关。本文为清华大学最新出版的《机器学习》教材的Learning Notes,书作者是南京大学周志华教授,多个大陆首位彰显其学术奢华。本篇主要介绍原创 2020-06-02 10:28:19 · 404 阅读 · 0 评论 -
解决jupyter文件路径的问题——Permission denied: Untitled.ipynb
解决jupyter文件路径的问题1、打开cmd,搜索jupyter notebook --generate-config同意:y,给出文件地址:2、根据地址找到该文件,如图:3、右键以记事本打开,直接用 ctrl+F 搜索 c.NotebookApp.notebook_dir =找到这句话以后,把前面的 # 去掉,后面的地址前面加一个 u,然后引号里面的地址写上你想放的文件夹地...原创 2020-04-23 22:08:57 · 20516 阅读 · 13 评论 -
机器学习公式推导【Day8】BP算法的公式推导
BP算法的公式推导(本文为个人学习总结笔记)原公式:Δθj=−ηgj\Delta \theta_{j}=-\eta g_{j}Δθj=−ηgj因为:又:原创 2020-04-07 23:42:43 · 457 阅读 · 0 评论 -
机器学习公式推导【Day7】神经网络感知机
神经网络感知机1、感知机模型2、感知机学习策略3、感知机学习算法(本文为个人学习总结笔记)5.1wi←wi+Δwiw_{i} \leftarrow w_{i}+\Delta w_{i}wi←wi+Δwi5.2Δwi=η(y−y^)xi\Delta w_{i}=\eta(y-\hat{y}) x_{i}Δwi=η(y−y^)xi此公式是感知机学习算法中的参数更新公式,下面依次...原创 2020-04-06 22:51:26 · 474 阅读 · 0 评论 -
机器学习公式推导【Day6】线性回归模型的最小二乘估计
线性回归模型的最小二乘估计1、对w求导2、对b求导(本文为个人学习总结笔记)1、对w求导原公式:∂E(w,b)∂w=2(w∑i=1mxi2−∑i=1m(yi−b)xi)\frac{\partial E_{(w, b)}}{\partial w}=2\left(w \sum_{i=1}^{m} x_{i}^{2}-\sum_{i=1}^{m}\left(y_{i}-b\right) x_{i...原创 2020-04-05 22:41:12 · 809 阅读 · 0 评论 -
机器学习公式推导【Day5】算法期望泛化误差
算法期望泛化误差算法期望泛化误差(本文为个人学习总结笔记)算法期望泛化误差原公式:E(f;D)=ED[(f(x;D)−yD)2]=ED[(f(x;D)−fˉ(x)+fˉ(x)−yD)2]=ED[(f(x;D)−fˉ(x))2]+ED[(fˉ(x)−yD)2]+ED[+2(f(x;D)−fˉ(x))(fˉ(x)−yD)]=ED[(f(x;D)−fˉ(x))2]+ED[(fˉ(x)−yD)2]...原创 2020-04-04 22:32:13 · 1588 阅读 · 3 评论 -
机器学习公式推导【Day4】性能度量-错误率
性能度量-错误率性能度量-错误率(本文为个人学习总结笔记)性能度量-错误率原公式ϵˉ=maxϵ s.t. ∑i=ϵ0×m+1m(mi)ϵi(1−ϵ)m−i<α\bar{\epsilon}=\max \epsilon \quad \text { s.t. } \quad \sum_{i=\epsilon_{0} \times m+1}^{m}\left(\begi...原创 2020-04-03 22:41:59 · 519 阅读 · 0 评论 -
机器学习吴恩达实验【Day2】logistic模型
机器学习实验-logistic模型1 实验原理与代码1.1初始化+数据可视化1.2 计算代价和梯度1.3 通过fminunc函数进行优化1.4 预测1.5 主函数ex22 执行结果2.1 数据结果图2.2 绘制边界(本文为学习总结笔记,如有雷同请无视)1 实验原理与代码1.1初始化+数据可视化(1)查阅matlab图像处理工具箱中函数load,熟悉其基本语法学会导入数据;(...原创 2020-04-02 21:47:39 · 953 阅读 · 0 评论 -
机器学习吴恩达实验【Day1】线性回归模型
机器学习实验-线性回归模型1 实验原理与代码1.1初始化和基本功能1.2 数据可视化1.3 梯度下降1.4 可视化J1.5 总函数ex.12 实验结果2.1 初始化单位矩阵2.2 绘制数据散点图2.3 梯度下降示意图2.4 theta变化三维图(本文为学习总结笔记,如有雷同请无视)1 实验原理与代码1.1初始化和基本功能(1)开始运行程序,并进行初始化;(2)完善函...原创 2020-04-02 18:25:53 · 1841 阅读 · 2 评论 -
机器学习公式推导【Day3】排序损失loss
排序“损失”定义排序损失loss(本文为个人学习总结笔记)排序损失loss形式化地看, AUC考虑的是样本预测的排序质量,因此它与排序误差有紧 密联系.给定 m+m^{+}m+个正例和m−m^{-}m−个反例?令D+D^{+}D+和D−D^{-}D−分别表示正、反例集合, 则排序"损失" (loss)定义为:ℓrank=1m+m−∑x+∈D+∑x−∈D−(I(f(x+)<f(x−))...原创 2020-03-04 11:40:59 · 4385 阅读 · 7 评论 -
机器学习公式推导【Day2】ROC与AUC
AUC-ROC曲线下的面积——比较学习器性能1. ROC——受试者工作特征2. AUC——ROC曲线下的面积(本文为个人学习总结笔记)1. ROC——受试者工作特征ROC曲线的横轴是"真正例率"(TPR),横轴是"假正例率"(FPR)。定义如下:TPR=TPTP+FNFPR=FPTN+FP\begin{aligned}&\mathrm{TPR}=\frac{T P}{T P+...原创 2020-03-03 15:13:27 · 473 阅读 · 0 评论 -
机器学习公式推导【Day1】NFL定理
NFL没有免费的午餐定理1. NFL定理(No Free Lunch Theorem)2. NFL定理解析(本文为个人学习总结笔记)1. NFL定理(No Free Lunch Theorem)无论算法多么聪明或者多么笨拙,算法他们的期望性能是相同的,具体如下:为简单起见,假设样本空间 X\mathcal{X}X和假设空间H\mathcal{H}H都是离散的.令 P(h∣X,La)P\le...原创 2020-03-02 20:25:18 · 2607 阅读 · 0 评论 -
机器学习笔记【Day7】PRML基本概念
机器学习与模式识别的基本概念1 基本概念解读1.1 有监督学习与无监督学习1.2 特征提取与特征选择1.3 泛化能力1.4 分类、回归和聚类1.5 NFL2 模式识别与机器学习研究内容的不同点3 人工智能的层次(本文为学习总结笔记,如有雷同请无视)1 基本概念解读1.1 有监督学习与无监督学习1、有监督学习:从给定的训练数据集中学习出一个函数(模型参数),当新的数据到来时,可以根...原创 2020-02-25 16:31:54 · 952 阅读 · 0 评论 -
机器学习笔记【Day6】线性代数再回顾
线性代数再回顾线性代数复习1 矩阵和向量1.1 矩阵1.2 向量2 矩阵运算2.1 矩阵的加减运算2.2 矩阵的数乘运算2.3 矩阵乘法2.4 矩阵的逆和矩阵的转置(本文为学习总结笔记,如有雷同请无视)线性代数复习这个可选模块提供了线性代数概念的复习。在接下来的课程中,对线性代数的基本理解是必要的,特别是当我们开始涵盖多个变量的模型时。1 矩阵和向量我们先复习一下线性代数的知识。在这段视...原创 2020-02-23 11:08:11 · 205 阅读 · 0 评论 -
机器学习笔记【Day5】参数学习_梯度下降算法
参数学习_梯度下降算法梯度下降1 梯度下降算法2 深入研究梯度下降算法3 线性回归中的梯度下降(本文为学习总结笔记,如有雷同请无视)梯度下降1 梯度下降算法我们已经定义了代价函数J,而在这段视频中,我想向你们介绍梯度下降算法。这种算法可以将代价函数J最小化。梯度下降是很常用的算法,它不仅被用在线性回归上,它实际上被广泛的应用于机器学习领域中的众多领域。在后面课程中,为了解决其他线性回归问题...原创 2020-02-23 10:47:34 · 441 阅读 · 0 评论 -
机器学习笔记【Day4】一元线性回归
一元线性回归1. 模型与成本函数(Model and Cost Function)1.1 模型表示1.2 代价函数(本文为学习总结笔记,如有雷同请无视)线性回归预测一个输入值的一个真值输出。我们讨论了线性回归在住房价格预测中的应用,提出了成本函数的概念,并介绍了学习的梯度下降法。1. 模型与成本函数(Model and Cost Function)1.1 模型表示我们的第一个学习算法是线...原创 2020-02-22 11:03:37 · 566 阅读 · 0 评论 -
机器学习笔记【Day3】了解无监督学习
监督学习1. 什么是无监督学习2. 聚类算法2.1 在基因中的应用2.2 用于社交网络的分析3. 鸡尾酒会算法4. 问题与解答(本文为学习总结笔记,如有雷同请无视)1. 什么是无监督学习在上一节我们学习了监督学习。回想起上次的数据集,每个样本,都已经被标明为正样本或者负样本,即良性或恶性肿瘤。因此,对于监督学习中的每一个样本,我们已经被清楚地告知了什么是所谓的正确答案,即它们是良性还是恶...原创 2020-02-21 19:44:23 · 348 阅读 · 0 评论 -
机器学习笔记【Day2】什么是监督学习
监督学习1. 监督学习应用实例2. 小问题(本文为学习总结笔记,如有雷同请无视)1. 监督学习应用实例假设你想预测房价,从某地收集了数据集,其中一个数据集是这样的。这是横坐标,即不同房子的面积,单位平方脚纵轴上是房价,单位 千美元。 根据给定数据,假设你朋友有栋房子,750平尺(70平米) 想知道这房子能卖多少,好卖掉。 那么,学习算法怎么帮你呢?学习算法可以: 绘出一条直线,让直线尽可...原创 2020-02-21 19:19:14 · 305 阅读 · 0 评论 -
机器学习笔记【Day1】谈谈机器学习
谈谈机器学习1. 生活中的机器学习2. 很火的机器学习3. 机器学习的价值(本文为学习总结笔记,如有雷同请无视)1. 生活中的机器学习在生活中,我们每天都可能在不知不觉中使用了各种各样的机器学习算法。比如,每一次使用像诸如谷歌 (Google)或必应的搜索引擎时,它们运作得如此之好的原因之一便是,由Google或微软实现的一种学习算法可以“学会”如何对网页进行排名;当使用脸书 (Facebo...原创 2020-02-21 18:26:55 · 226 阅读 · 0 评论 -
机器学习数学基础之线性回归
机器学习数学基础之线性回归1. 线性回归公式2. 利用矩阵对线性公式整合3. 误差项分析4. 似然函数5. 最小二乘★(矩阵求导公式)(本文为学习总结笔记,如有雷同请无视)知识点:1、利用矩阵的只是对线性公式进行整合2、误差项的分析3、似然函数的理解4、矩阵求偏导5、线性回归的最终求解1. 线性回归公式y=wk+by = wk +by=wk+b其中b为误差值,对最终的结果影...原创 2020-02-20 10:29:31 · 280 阅读 · 0 评论 -
机器学习数学基础之微积分与概率论
机器学习数学基础之微积分与概率论1. 导数与梯度下降1.1 方向导数1.2 在机器学习的应用2. 基本概率论2.1 条件概率2.2 全概率公式2.3 贝叶斯公式2.4 随机变量2.5 期望2.6 方差3. 分布3.1 伯努利分布3.2 二项分布3.3 高斯分布3.4 泊松分布(本文为学习总结笔记,如有雷同请无视)1. 导数与梯度下降1.1 方向导数梯度下降法会引起局部最优值的可能。1....原创 2020-02-19 19:16:59 · 294 阅读 · 0 评论 -
机器学习数学基础之线性代数
机器学习数学基础之线性代数1. 矩阵基本知识1.1 矩阵标识形式1.2 矩阵形式表示图片 (Minst数据集)2. 矩阵的运算和在回归中的应用2.1 同型矩阵2.2 矩阵的乘积2.3 回归中的矩阵运算3. 特殊的矩阵3.1 方阵3.2 单位矩阵3.3 矩阵的转置3.4 正交矩阵3.5 三角矩阵3.6 行列式3.7 奇异矩阵4. 向量与基本运算4.1 向量4.2 向量的基本运算5. 矩阵特征值和特征...原创 2020-02-19 12:39:52 · 344 阅读 · 0 评论