Mechine Learning
文章平均质量分 91
CodeLuweir
壁立千仞,无欲则刚!
展开
-
【学习笔记】《深度学习与神经网络》——邱锡鹏
一、绪论人工智能的一个子领域神经网络:一种以(人工))神经元为基本单元的模型深度学习:一类机器学习问题,主要解决贡献度分配问题知识结构:路线图:顶会:1.1 人工智能诞生:人工智能这个学科的诞生有着明确的标志性事件,就是1956年的达特茅斯(Dartmouth)会议。在这次会议上,“人工智能” 被提出并作为木研究领域的名称。人工智能=计算机控制+智能行为;人工智能就是要让机器的行为看起来就像是人所表现出的智能行为一样。 ——John McCarthy ( 1927-201原创 2021-12-22 22:42:28 · 7661 阅读 · 3 评论 -
机器学习课程系列汇总
吴恩达《机器学习》笔记吴恩达《机器学习》第一章:监督学习和无监督学习吴恩达《机器学习》第二章:线性回归吴恩达《机器学习》第三章:矩阵和向量吴恩达《机器学习》第四章:多元线性回归吴恩达《机器学习》第六章:逻辑回归吴恩达《机器学习》第七章:正则化吴恩达《机器学习》第八章:逻辑回归吴恩达《机器学习》第九章:神经网络的学习吴恩达《机器学习》第十章:应用机器学习的建议吴恩达《机器学习》第十一章:机器学习系统的设计吴恩达《机器学习》第十二章:支持向量机SVM吴恩达《机器学习》第十三章:聚类吴恩原创 2020-11-27 10:59:14 · 1054 阅读 · 0 评论 -
吴恩达《机器学习》第十八章:图片文字识别OCR
文章目录十八、应用实例:图片文字识别OCR18.1 问题描述和流程图18.2 滑动窗口18.3 获取大量数据和人工数据18.4 上限分析:下一步工作十八、应用实例:图片文字识别OCR18.1 问题描述和流程图18.2 滑动窗口本节问题:如何在图片中检测到文字?人像识别:矩形框;正负样本,分类,监督学习;1、选中图片左上角矩形框;2、传入分类器,检测y0 or y1,返回;3、矩形框右移(事先设定的步长),重复判断;4、移到最右边后下移,重复;5、移到末尾后,第二遍,增大窗原创 2020-11-27 10:49:38 · 754 阅读 · 0 评论 -
吴恩达《机器学习》第十七章:大规模机器学习
文章目录十七、大规模机器学习17.1 大型数据集的学习17.2 随机梯度下降法17.3 随机梯度下降收敛17.4 小批量梯度下降17.5 在线学习17.6 映射化简和数据并行十七、大规模机器学习17.1 大型数据集的学习大型数据集的学习带来的是计算问题;本章学习如何处理上亿级别的大型数据集;17.2 随机梯度下降法本节问题:随机梯度对比于普通梯度下降法,改进在哪?批量梯度下降: ~~~~~~  原创 2020-11-27 10:48:58 · 274 阅读 · 0 评论 -
吴恩达《机器学习》第十六章:推荐系统
文章目录十六、推荐系统16.1 问题形式化16.2 基于内容的推荐系统16.3 协同过滤16.4 协同过滤算法16.5 向量化实现16.6 均值归一化十六、推荐系统最重要的机器学习应用领域之一 ——推荐系统;推荐系统其实即使自动的特征学习;16.1 问题形式化给出 r(i,j) 和 y(i,j) 预测上图中的?,预测用户喜欢的类型,并将其没看过的属于喜欢的类型的电影推荐过去;16.2 基于内容的推荐系统假设:假设我们得到了电影的特征;这个θ(1)是假设出来的,实际上要通过训练得到;参数原创 2020-11-27 10:48:11 · 286 阅读 · 0 评论 -
吴恩达《机器学习》第十五章:异常检测
文章目录十五、异常检测15.1 问题的动机15.2 高斯分布15.3 算法15.4 开发和评价一个异常检测系统15.5 异常检测 VS 监督学习15.6 选择特征15.7 多元高斯分布15.8 使用多元高斯分布进行异常检测十五、异常检测15.1 问题的动机飞机引擎检测:给定一系列正常的引擎参数,要求确定一个新生产的引擎是否正常;异常用户检测:网站检测用户刷新频率,登录次数、登陆位置等信息,判断用户行为是否异常;数据中心的计算机检测:检测计算机内存消耗、硬盘容量等信息,判断计算机是否异常;15.2原创 2020-11-26 17:34:58 · 479 阅读 · 0 评论 -
吴恩达《机器学习》第十四章:降维
文章目录十四、降维14.1 应用一:数据压缩14.2 应用二:数据可视化14.3 主成分分析PCA14.4 重建的压缩表示14.5 选择主成分的数量14.6 主成分分析的应用建议十四、降维14.1 应用一:数据压缩本节问题:降维是如何应用在数据压缩方面的? ~~~~~~ 数据投影,把三维数据降到二维,就是把它投影到一个z1,z2坐标的平面,用平面的点确定原创 2020-11-26 17:34:22 · 277 阅读 · 0 评论 -
吴恩达《机器学习》第十三章:聚类
文章目录十三、聚类13.1 无监督学习13.2 K-Means算法13.3 优化目标13.4 随机初始化13.5 选择聚类数十三、聚类13.1 无监督学习13.2 K-Means算法聚类算法——K-Means算法;本节问题:K-Means算法的原理;K-Means算法的使用;随机初始化N个聚类中心;while(true){ 簇分配:计算所有点到这N个聚类中心的距离,从而把数据分为N个簇(隔得最近的一个簇); 计算均值:对于每一个簇,计算各点到该簇聚类中心的距离,取平均值 移原创 2020-11-26 17:33:46 · 304 阅读 · 0 评论 -
吴恩达《机器学习》第十二章:支持向量机SVM
文章目录十二、支持向量机12.1 优化目标12.2 大边界的直观理解12.3 数学背后的大边界分类12.4 (高斯)核函数112.5 (高斯)核函数212.6 使用支持向量机十二、支持向量机12.1 优化目标SVM:support vector machine;把代价函数分成两部分,比如左边:hθ(X)=1/(1+e-z),当z趋向于很大的数时,hθ(X)才能取到1;支持向量机:取出1/m,惯例不同而已,1/m不影响θ的结果;这是支持向量机的总体代价函数:12.2 大边界的直观理原创 2020-11-26 17:33:05 · 356 阅读 · 0 评论 -
吴恩达《机器学习》第十一章:机器学习系统的设计
文章目录十一、机器学习系统的设计11.1 首先要做什么11.2 误差分析11.3 不对称性分类得误差评估11.4 查准率和召回率的权衡11.5 机器学习数据十一、机器学习系统的设计11.1 首先要做什么 ~~~~~~ 比如:对于一个垃圾邮件分类系统,我如何做才能对垃圾邮件进行分类? ~~~~原创 2020-11-26 17:32:13 · 342 阅读 · 0 评论 -
吴恩达《机器学习》第十章:应用机器学习的建议
文章目录十、应用机器学习的建议10.1 决定下一步做什么10.2 评估假设10.3 模型选择和交叉验证集10.4 诊断偏差与方差10.5 正则化和偏差、方差10.6 学习曲线10.7 决定下一步做什么十、应用机器学习的建议10.1 决定下一步做什么以房价预测为例,当预测时遇到很多无法接受的错误时,下一步该怎么做?获得更多的训练样本;减少特征数;觉得目前的特征信息量不够,要获得更多的特征;加入高次项系数(x12,x22,x1x2,etc)减小λ;增大λ;  原创 2020-11-26 17:30:43 · 433 阅读 · 0 评论 -
吴恩达《机器学习》第九章:神经网络的学习
文章目录九、神经网络的学习9.1 代价函数9.2 反向传播算法9.3 理解反向传播9.4 梯度检验9.5 随机初始化9.6 总体回顾9.7 神经网络举例:无人驾驶九、神经网络的学习9.1 代价函数???9.2 反向传播算法Back Propagation => BP神经网络δ表示误差值,输出的aj(4)与yi的差值;先计算结果,在根据误差调整参数,原理和逻辑回归差不多,只是过程复杂了,这个误差就是反向传播算法得到的,而结果则是前向传播算法得出;前向输出,反向求参!9.3 理解反原创 2020-11-26 12:46:25 · 407 阅读 · 0 评论 -
吴恩达《机器学习》第八章:逻辑回归
文章目录八、神经网络:表述8.1 非线性假设8.2 神经元和大脑8.3 神经网络举例8.4 多元分类问题八、神经网络:表述8.1 非线性假设 ~~~~~~ 对于特征数很多的逻辑回归,其特征空间会膨胀,因为hθ(x)中会含有很多多次项,比如x12,x1x2,…;如果包含二次项的话,那么估计一共会有O(n2)项,考虑三次项则会有O(n3)项;这是一种包含很多个原创 2020-11-26 12:46:13 · 249 阅读 · 0 评论 -
吴恩达《机器学习》第七章:正则化
文章目录六、 正则化6.1 过拟合问题6.2 代价函数6.3 线性回归的正则化6.4 logistic回归的正则化六、 正则化6.1 过拟合问题过拟合:overfitting,模型有很多特征,使得假设模型可能会千方百计的去拟合训练集,努力地扭曲从而符合每个训练样本,虽然能让曲线的代价函数值很低,甚至为0,但这种情况会导致无法泛化到新的样本中,无法预测新样本的价格;泛化:一个假设模型应用到新样本的能力,新样本数据就是训练集之外的数据;Q:如何解决过拟合的问题?1、减少特征变量:通过人原创 2020-11-26 12:37:30 · 300 阅读 · 0 评论 -
学习笔记 —— 吴恩达《机器学习》课程
一、前言1.1 监督学习:监督学习:见度给出数据集和正确答案,要求机器给出更多的正确答案(实现预测)数据问题 && 分类问题单个 or 多个 特征/属性特征:年龄、肿瘤尺寸;Q:无数个特征又该怎么办?1.2 无监督学习将数据集分簇 -> 聚类算法,聚类算法只是无监督算法中的一种;无监督学习:给定数据集,但没有给出正确答案,要求机器对其分类,我们不知道这个数据集有多少类, 看机器把它们分成多少个簇;计算机集群 、社交网络、市场分析;鸡尾酒会算法:一个原创 2020-11-21 22:19:23 · 1578 阅读 · 1 评论 -
吴恩达《机器学习》第六章:逻辑回归
文章目录五、逻辑回归5.1 Sigmoid 函数5.2 决策边界5.2.1 线性决策边界5.2.2 非线性决策边界5.3 代价函数5.4 高级优化5.5 多类别分类五、逻辑回归逻辑回归:Logistic Regression,一种广义的线性回归,其因变量可以是二分类的; ~~~~~~ 如果直接对二分类问题应用线性回归,效果并不理想,因为线性回归输出的是离散值,原创 2020-11-14 21:40:24 · 367 阅读 · 0 评论 -
吴恩达《机器学习》第四章:多元线性回归
目录四、多元线性回归4.1 特征缩放4.2 学习率α4.4 特征和多项式4.4 正规方程四、多元线性回归多特征下的假设形式:4.1 特征缩放特征缩放:Feature Scaling,对模型特征的数量级进行放大缩小,使之都在相近或者同一数量级上;Q:为什么要引入特征缩放? ~~~~~~ 对于有两个特征的房价预测模型,特征1是房屋大小,特征2是卧室数量,房原创 2020-11-14 21:39:35 · 343 阅读 · 0 评论 -
吴恩达《机器学习》第三章:矩阵和向量
三、矩阵和向量向量是特殊的矩阵;通常:大写字母表示矩阵;小写字母表示向量或其他数字;标量运算矢量运算多个代价函数矩阵的交换律不成立,但是AI = IA(I单位矩阵)存在逆矩阵的矩阵:非奇异矩阵;不存在逆矩阵的矩阵:奇异矩阵,比如零矩阵;矩阵转置多变量的线性回归...原创 2020-11-14 21:38:35 · 440 阅读 · 0 评论 -
吴恩达《机器学习》第二章:线性回归
目录二、线性回归2.1 代价函数2.2 梯度下降算法二、线性回归实例:房价预测线性回归θ0、θ1为线性回归模型参数;2.1 代价函数代价函数:Cost Function,又称平方误差代价函数;对偏离真实值的输出给予较大的惩罚,其大小反映了拟合函数的精准度,值越小,精准度越高,误差越小;最小化问题:目的是找到合适的θ0、θ1,使得 hθ(x) 和 y 之间的差异小,即尽量较少假设的输出(估计值)与房子真实价格(真实值)之间的差的平方;简化版的线性回归:θ0=0,保留θ1这一个原创 2020-11-14 21:37:49 · 312 阅读 · 0 评论 -
吴恩达《机器学习》第一章:监督学习和无监督学习
目录一、监督学习和无监督学习1.1 监督学习:1.2 无监督学习一、监督学习和无监督学习1.1 监督学习:监督学习:给出数据集和正确答案,要求机器给出更多的正确答案(实现预测)离散数据问题 && 分类问题单个 or 多个 特征/属性特征:年龄、肿瘤尺寸;1.2 无监督学习将数据集分簇 -> 聚类算法,聚类算法只是无监督算法中的一种;无监督学习:给定数据集,但没有给出正确答案,要求机器对其分类,我们并不知道这个数据集有多少类, 看机器把它们分成多少个簇;原创 2020-11-14 21:36:05 · 427 阅读 · 0 评论