机器学习
文章平均质量分 87
Fox_Alex
这个作者很懒,什么都没留下…
展开
-
深度学习3 前馈神经网络
深度学习3 前馈神经网络目录深度学习3 前馈神经网络1. 神经元模型(M-P)(1)公式(2)运算(3)结构2. 感知机模型(1)单层感知机(2)多层感知器(3)BP算法1. 神经元模型(M-P)(1)公式 在M-P模型中,神经元接受其他n个神经元的输入信号(0或1),这些输入信号经过权重加权并求和,将求和结果与阈值(threshold) θ 比较,然后经过激活函数处理,得到神经元的输出。 y=f(∑i=1nωijxi−θ) y=f\left(\sum_{i=1}^{n} \omega_{i原创 2021-11-23 23:31:13 · 2768 阅读 · 0 评论 -
机器学习2 机器学习误差分析与代表性算法
机器学习2 机器学习误差分析与代表性算法目录机器学习2 机器学习误差分析与代表性算法1. 误差分析(1)误差公式(2)欠拟合与过拟合2. 代表性的算法(1)有监督a. 逻辑回归b. 随机森林c. SVM2. 无监督聚类1. 误差分析(1)误差公式 数据集上需要预测的样本为Y,特征为X,潜在模型为 Y=f(X)+εY=f(X)+εY=f(X)+ε,其中ε∼N(0,σε)ε \sim N(0,σ_ε)ε∼N(0,σε)是噪声, 估计的模型为f^(X)\hat{f}(X)f^(X). Err(原创 2021-11-20 22:20:24 · 1520 阅读 · 0 评论 -
机器学习数学基础
机器学习1 机器学习数学基础目录机器学习1 机器学习数学基础1. 概率统计(1)常见的概率分布a. 伯努利分布:0-1分布b. 二项分布:n次伯努利分布,各次实验之间独立c. 均匀分布d. 高斯分布(正态)e. 指数分布(2)多变量概率分布(3)全概率公式与贝叶斯公式(4)方差与协方差2. 矩阵(1)矩阵基础a. 矩阵b. 张量c. 矩阵的秩(Rank)d. 矩阵的逆e. 矩阵的广义逆矩阵f. 矩阵的特征值、特征向量、迹、行列式(2)矩阵分解a. 矩阵特征值分解b. 矩阵奇异值分解3. 信息论(1)基础原创 2021-11-17 22:48:42 · 1512 阅读 · 0 评论 -
集成学习Day11 Boosting (3) XGBoost算法及实现
集成学习Day11 Boosting (3) XGBoost算法目录集成学习Day11 Boosting (3) XGBoost算法1. XGBoost算法(3)sklearn代码1. XGBoost算法XGBoost是陈天奇等人开发的一个开源机器学习项目,高效地实现了GBDT算法并进行了算法和工程上的许多改进,被广泛应用在Kaggle竞赛及其他许多机器学习竞赛中并取得了不错的成绩。XGBoost本质上还是一个GBDT,但是力争把速度和效率发挥到极致,所以叫X (Extreme) GBoosted原创 2021-04-27 00:07:00 · 256 阅读 · 0 评论 -
集成学习Day10 Boosting (2) 前向分步算法与梯度提升决策树(GBDT)
集成学习Day9 Boosting (1)目录集成学习Day9 Boosting (1)1. Boosting(1)强可学习与弱可学习(2)Boosting原理2 Adaboost(1)Adaboost原理(2)sklearn代码1. Boosting(1)强可学习与弱可学习 Valiant和Kearns提出了“强可学习”与“弱可学习”概念。在概率近似正确PAC框架下,强可学习:识别准确率很高并且能在多项式时间内完成的学习算法;弱可学习:识别错误率小于1/2(即准确率仅比随机猜测高的学习原创 2021-04-23 23:04:01 · 337 阅读 · 2 评论 -
集成学习Day9 Boosting (1)
集成学习Day9 Boosting (1)目录集成学习Day9 Boosting (1)1. Boosting(1)Bagging原理(2)sklearn代码1. Boosting(1)Bagging原理 与投票法不同的是,Bagging不仅仅集成模型最后的预测结果,同时采用一定策略来影响基模型训练,保证基模型可以服从一定的假设。在投票法中,我们希望各个模型之间具有较大的差异性,而在实际操作中的模型却往往是同质的,因此一个简单的思路是通过不同的采样增加模型的差异性。 Bagging的核心在原创 2021-04-19 21:58:52 · 318 阅读 · 0 评论 -
集成学习Day8 Bagging
集成学习Day8 Bagging目录集成学习Day8 Bagging1. Bagging(1)Bagging原理(2)sklearn代码1. Bagging(1)Bagging原理 与投票法不同的是,Bagging不仅仅集成模型最后的预测结果,同时采用一定策略来影响基模型训练,保证基模型可以服从一定的假设。在投票法中,我们希望各个模型之间具有较大的差异性,而在实际操作中的模型却往往是同质的,因此一个简单的思路是通过不同的采样增加模型的差异性。 Bagging的核心在于自助采样(bootst原创 2021-04-17 19:17:21 · 128 阅读 · 2 评论 -
集成学习Day7 投票法
集成学习Day7 投票法目录集成学习Day7 投票法1. 投票法(1)投票法原理(2)sklearn代码(pipe管道+voting)1. 投票法(1)投票法原理 集成学习(ensemble learning)是通过构建并结合多个学习器来完成学习任务。而投票法是集成学习的常用技巧,它是一种遵循少数服从多数原则的集成学习模型,使用投票法可以有效提升模型的泛化能力,减少模型的错误率。在理想情况下,投票法的预测结果应当优于任何一个基模型的预测结果。投票法同时适用于回归模型和分类模型。 对于回原创 2021-04-14 23:02:55 · 472 阅读 · 0 评论 -
集成学习Day6 sklearn分类模型的评估、优化与基于SVM的人脸分类实例
集成学习Day6 sklearn分类模型的评估、优化与人脸分类实例目录集成学习Day6 sklearn分类模型的评估、优化与人脸分类实例1. 模型评估与优化(1)超参数选择A 使用网格搜索选择超参数B 使用随机搜索选择超参数(2)模型评估(以乳腺癌数据集二分类为例)A 混淆矩阵B ROC曲线2. 基于SVM的人脸分类(1)数据集(2)数据处理——PCA降维、数据集划分(3)网格搜索寻找最优超参数(4)训练、预测(5)结果评估1. 模型评估与优化(1)超参数选择A 使用网格搜索选择超参数from原创 2021-03-29 23:09:01 · 629 阅读 · 2 评论 -
集成学习Day5 sklearn分类实例
集成学习Day5 sklearn分类实例目录集成学习Day5 sklearn分类实例1. 收集数据集并选择合适的特征1. 收集数据集并选择合适的特征 (1)数据集选择IRIS鸢尾花数据集,使用sklearn读取;from sklearn import datasetsimport pandas as pd iris = datasets.load_iris()X = iris.data y = iris.target feature = iris.feature_names原创 2021-03-27 23:10:33 · 243 阅读 · 0 评论 -
集成学习Day2 sklearn回归实例 && Day 3 偏差方差理论与测试误差估计 && Day 4模型超参数调优
集成学习Day2 sklearn回归实例目录集成学习Day2 sklearn回归实例1. 使用sklearn构建完整机器学习项目的流程2. 使用sklearn进行Boston房价回归预测(1)这是一个回归问题(2)Boston数据集读取与特征分析(3)选择模型度量标准(3)回归模型选择1. 使用sklearn构建完整机器学习项目的流程 (1)明确项目任务:回归/分类; (2)收集数据集,选择合适的特征; (3)选择度量模型性能的指标; (4)选择具体的模型并进行训练以优化模型原创 2021-03-18 17:42:48 · 392 阅读 · 0 评论 -
集成学习Day1 机器学习简述与sklearn
集成学习Day1 机器学习简述与sklearn目录集成学习Day1 机器学习简述与sklearn1. 机器学习简述(1) 监督学习(2) 无监督学习(3) 强化学习2. sklearn代码(1) 回归例子:可视化波士顿房价和一氧化碳浓度的关系(2) 分类例子:可视化鸢尾花数据集(3) 无监督例子:月牙型非凸集和符合正态分布的聚类数据1. 机器学习简述 机器学习的一个主要任务是用数学模型理解数据,发现数据中的规律并用来做分析和预测。通常会将机器学习方法分为监督学习,无监督学习和强化学习。(1)原创 2021-03-15 22:39:13 · 409 阅读 · 0 评论 -
PaddlePaddle安装与线性回归、房价预测
这几天参加了百度图像分割七天打卡活动,快学起来呀~啦啦啦啦啦啦1. PaddlePaddle安装在官网https://www.paddlepaddle.org.cn/install/quick中,选择操作系统、安装方式、Python版本以及CUDA版本即可生成安装命令,安装即可。我的电脑是Win10,Python3.6.11,无CUDA,所以选择以下代码进行安装:python -m pip install paddlepaddle -i https://mirror.baidu.com/p原创 2020-10-20 10:06:29 · 397 阅读 · 0 评论 -
手推机器学习系列笔记——手推SVM(2) 对偶问题探讨、Slater条件、核技巧、SMO算法推导+简单实现代码、数据集
一、两个问题在我的上一篇博客手推SVM(1)中有两个问题值得探讨:(传送门:https://blog.csdn.net/Fox_Alex/article/details/105113554)为什么转对偶?是否所有的都可以转对偶?何时转对偶? Slater条件通过查阅大量文献、博客、视频教程,但由于现在知识量不充足,就目前我对这两个问题的认识如下,希望能和大家一起探讨探讨:解答:...原创 2020-04-03 01:09:48 · 1073 阅读 · 0 评论 -
手推机器学习系列笔记——手推SVM(1)硬间隔、软间隔、约束优化问题、对偶性证明、KKT条件
笔记是听了b站大神的白板推导机器学习系列课,再结合李航老师的《统计学习方法》、周志华老师的西瓜书以及其他优秀博主的博客而成(浑然天成!!!):https://space.bilibili.com/97068901?from=search&seid=9183191776664110144(大神的白板推导机器学习系列课传送门)对于大神的课,我只能说太强了,讲的特别特别好!下面让我们开始...原创 2020-03-26 11:30:00 · 1220 阅读 · 2 评论 -
机器学习(基本概念)
最近对机器学习非常感兴趣,然后自己接触了一些算法之后,觉得非常有意思,所以我想把机器学习自己系统的学习一下~~~记录一些笔记,记录自己一步步成长的脚印。1. Machine Learning(机器学习概念)-Grew ouf of work in AI-New capability for computers2. Example(应用示例)-Database mining...原创 2018-10-25 11:39:55 · 323 阅读 · 0 评论