- 博客(68)
- 收藏
- 关注
原创 【机器学习】决策树原理、调参、可视化 + 银行信用卡欺诈检测案例(含数据集)
ID3是决策树学习算法中最具有影响和最为典型的算法,它的基本思想是,利用信息熵的原理,选择信息增益最大的属性作为分类属性。信息熵下降最快。
2022-08-30 21:52:32
2640
1
原创 【深度学习】吴恩达-学习笔记 优化算法(动量梯度,RMSprop,Adam)、参数初始化、Batch Norm
动量梯度下降法采用累积梯度来代替当前时刻的梯度。直观来讲,动量方法类似把球推下山,球在下坡时积累动力,在途中速度越来越快,如果某些参数在连续时间内梯度方向不同,动量就会变小,反之,在连续时间内梯度方向一致,动量会增大。动量梯度下降法可以更快速的收敛并减少目标函数的震荡。 是动量参数,通常取0.9, 为超参数,是x轴方向的动量,是纵向y轴方向的动量。是梯度更新的步长。 RMSprop可以自适应调整每个参数的学习率,此外,RMSprop可以客服学习率过早衰减的问题。相较于动量梯度下降法,()后相乘的微分变为微分
2022-08-30 21:50:23
902
原创 【深度学习】吴恩达-学习笔记 偏差与方差、正则化、梯度检测、mini-batch
如果训练集中样本数量m = 5000000,每个mini_batch包含5000个样本,则一共有1000个mini_batch,每次同时处理的是这5000个mini_batch中的X和y。首先生成跟a3隐藏层相同shape的随机数,小于0.8的等于1,大于0.8等于0,再生成一个0-1矩阵d3,与a3相乘,将a3中的系数剔除20%(遇到0的系数归零)mini_batch size = 1,则为随机梯度下降,失去向量化带来的加速,效率低下。mini_batch size应该处于1-m之间。..........
2022-08-30 18:47:17
538
原创 【机器学习】K邻近算法
可用于分类或回归对于k邻近算法来讲,新数据点离谁最近,就和谁属于同一类。如果在模型训练的过程中选的最邻近数为1,很可能这个数据恰好是一个错误数据,因此,需要增加最近邻的数量,比如把最邻近数增加到3,K邻近算法用于回归的原理与分类相同,当我们用K邻近算法回归计算某个数据点的预测值时,模型会选择离该数据点最近的若干个训练数据集中的点,并将它们的y值取平均值,并将该平均值作为新数据点的预测值。...
2022-08-28 20:30:34
1210
原创 【机器学习-分类模型评价指标】混淆矩阵&分类报告
混淆矩阵是评判模型结果的指标,属于模型评估的一部分。此外,混淆矩阵多用于判断分类器(Classifier)的优劣,适用于分类型的数据模型,如分类树(Classification Tree)、逻辑回归(Logistic Regression)、线性判别分析(Linear Discriminant Analysis)等方法。 混淆矩阵里面统计的是个数,有时候面对大量的数据,光凭算个数,很难衡量模型的优劣。因此混淆矩阵在基本的统计结果上又延伸了如下4个指标 在实际场景中,有时候需要同时关注精准率和召回率。这种情
2022-08-26 14:00:09
7826
原创 解决AttributeError: ‘str‘ object has no attribute ‘decode‘问题
问题描述:用kears导入模型时出现解码问题尝试降低h5py3.0.0至2.1.0,失败最后重新安装了keras,解决问题也没有换版本,但是问题就是解决了……原理不明pip uninstall keras==2.0.6pip install keras==2.0.6...
2022-05-07 10:34:38
453
原创 解决tensorflow虚拟环境下运行jupyternotebook报错RuntimeError: This event loop is already running
问题描述:重新在虚拟环境中安装了tensorflow1.2.1,python3.6.15在新的虚拟环境中下载完毕jupyter,将将虚拟环境添加jupyter notebook中,使用ipykernel生成虚拟环境的kernel后,发现notebook依旧连接不上内核,并且报错:RuntimeError: This event loop is already running执行pip install --ignore-installed ipykernel --upgrade出现下图类似错
2022-05-06 12:09:53
1195
原创 解决PackagesNotFoundError: The following packages are not available from current channels:问题
问题描述:用tensorflow环境运行jupyter时显示没有skimage包:no module named 'skimage',用conda终端下载skimage包activate tensorflowconda install skimage显示:Solving environment: failed with initial frozen solve. Retrying with flexible solve.PackagesNotFoundError: The followi
2022-05-05 11:02:34
5196
原创 解决Loaded cuDNN version 8400 Could not load library cudnn_cnn_infer64_8.dll. 问题
问题描述:jupyter notebook中运行tf.keras/model.fit,在jupyter终端中报错Loaded cuDNN version 8400 Could not load library cudnn_cnn_infer64_8.dll.尝试了更新pip,conda,可能性1:cuda和cudnn版本不对,我是cuda11.6,cudnn8.4.0,版本是匹配的可能性2:cudnn没有安装上于是重新解压下载的cudnn8.4.0,将原文件夹'cudnn-windows
2022-05-05 09:53:58
10805
10
原创 解决jupyter notebook :No module named ‘tensorflow‘ 及python.exe无法找到入口问题及500 : Internal Server Error
jupyter notebook ModuleNotFoundError: No module named 'tensorflow'问题导入tensorflow模块出现问题可能性1:tensorflow版本与python版本不匹配我激活tensorflow之后python版本为3.9.12,而直接进入python环境之后python版本为3.9.7,于是重新下载了python3.9.7的tensorflow2.8.0但问题还是没有解决,我的tensorflow(2.8.0)和pytho..
2022-05-04 17:02:14
12335
1
原创 解决:打开 jupyter 时浏览器不能自动弹出,网页不显示问题
https://blog.csdn.net/fffsolomon/article/details/103733300每次重装anaconda,jupyter都会出现这个问题,每次都要找一下这个回答,留存。
2022-05-04 16:48:49
1254
原创 【环境搭建】Win10系统下卸载并重新安装Anaconda3,安装tensorflow2.8.0(CPU及GPU版),CUDA及cudnn的配置
一、卸载并重新安装Anaconda31、在anaconda prompt中:conda install anaconda-clean2、再输入:anaconda-clean --yes3、运行之前安装anaconda3的目录下的Uninstall-Anaconda3.exe进行卸载4、去官网下安装包,一路安装就行了,记得图上这一步要勾选添加环境变量二、改变python版本至3.6 在cmd中操作 激活环境conda activate查看python...
2022-05-04 14:16:28
3545
原创 【机器学习】特征工程梳理
一、特征工程特征工程:从数据到变量,利用数据所在领域的相关知识构建特征,使机器学习算法发挥其最佳的过程地位:数据和特征是上限,算法和训练时逼近这个上限实质:连接原始数据与模型,一系列分析的”起手式“。有无特征工程,是区别实验室学习和现实世界机器学习的界限主要内容:结构化:将非结构化数据(文本,图像,语言,音乐)结构化 预处理:清洗数据,填补缺失值 变量加工:将数据变形成更适合预测的形态 特征选择:基于理论/经验的 单变量评估 基于统计的多变量评估 基于机器学习的多变...
2022-04-19 14:07:38
334
原创 【机器学习】编程实践流程
一、数据准备1 数据获取/存储方式2 数据标签化(特征工程)3 数据清洗与预处理二、方法选择1 合适方法2 合适超参数(意义和范围)3 编程实现(算法理解)三、工程流水线1 标准流程2 训练、测试集划分3 正确评价模型方式四、结果呈现(可视化)1 表达准确2 易于理解3 sexy(自己的风格)工具只是一种实现形式,没有优劣,大公司有现实需求,自己的工具五、sklearn库...
2022-04-07 13:17:20
1210
原创 【机器学习】python实现吴恩达机器学习作业合集(含数据集)
目录1.0 实现线性回归预测2.0 线性可分logistic逻辑回归2.1 线性不可分logistic逻辑回归3.0 logistic逻辑回归手写多分类问题3.1 神经网络正向传播4.0 神经网络反向传播(BP算法)5.0 方差与偏差6.0 SVM支持向量机7.0 kmeans聚类7.1 PCA主成分分析...
2022-04-04 22:11:11
35043
27
原创 【机器学习】吴恩达作业8.1,python实现推荐系统(协同过滤算法)
8.1推荐系统 实现协同过滤算法并将它运用在电影评分的数据集上,最后根据新用户的评分来给新用户推荐10部电影。这个电影评分数据集由1到5的等级组成。数据集有nu = 943个用户和nm = 1682部电影。在计算完协同过滤的代价函数以及梯度后,将使用牛顿共轭梯度法求得参数。 数据集中,Y是一个(1682, 943)的矩阵,存储了从1到5的评分,矩阵R为二值指标矩阵,其中如果用户j对电影i进行评级,R(i, j)=1,否则R(i,j)=0。协同过滤的目的是预测用户尚未评分的电影的评分,即R(...
2022-04-04 20:15:06
4653
2
原创 【机器学习】吴恩达作业7.1,python实现PCA主成分分析
7.1主成分分析主成分分析(PCA)来实现降维。首先用一个二维的样本集来实验,对PCA如何运行的有一个直观的感受,然后再在一个更大的由5000个人脸图像组成的数据集上实现PCA。降噪 :降维就是一种对高维度特征数据预处理方法。降维是将高维度的数据保留下最重要的一些特征,去除噪声和不重要的特征,从而实现提升数据处理速度的目的。在实际的生产和应用中,降维在一定的信息损失范围内,可以为我们节省大量的时间和成本。降维也成为应用非常广泛的数据预处理方法。降维具有如下一些优点:使得数据集更易使
2022-04-03 18:44:58
2495
2
原创 【机器学习】吴恩达作业8.0,python实现异常检测
8.0.异常检测实现异常检测算法,并将其应用于检测网络中的故障服务器。在第二部分中,您将使用协同过滤来构建电影推荐系统。在本练习中,您将实现一个异常检测算法来检测服务器计算机中的异常行为。这些特性度量每个服务器的吞吐量(mb/s)和响应的延迟(ms)。在服务器运行时,您收集了m = 307个关于它们行为的样本,因此有一个未标记的数据集{x(1),…,x(m)}。您怀疑这些样本中的绝大多数都是正常运行的服务器的“正常”(非异常)样本,但是也可能有一些服务器在这个数据集中异常运行的样本。您将使用高斯模型
2022-04-03 18:42:36
2882
原创 【机器学习】吴恩达作业7.0,python实现kmeans聚类
7.0 k-means聚类以及图像压缩使用k-means聚类算法并且将其应用于压缩图像。在第二部分中你将使用主成分分析来找到脸部图像的一个低维表示。第一部分为k-means聚类,首先从一个2维的样本集开始,他可以帮助你对k-means算法有一个直观的感受。然后你将使用k-means算法对图像进行压缩,通过减少颜色数量,直到只出现在该图像中最常见的那些颜色。无监督学习根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题,称之为无监督学习,“监督”的意思可以直观理解为“是否有标注的数据”
2022-04-02 20:41:07
5344
2
原创 【机器学习】吴恩达作业6.0,python实现SVM支持向量机
6.0支持向量机使用支持向量机(SVM)处理各种两维的样本数据集,了解支持向量机如何工作,以及如何使用带高斯核函数的SVM。SVM(鲁棒性,大间距分类器)支持向量机(support vector machines, SVM)是一种二分类模型,它的基本模型是定义在特征空间上的 间隔最大的线性分类器 ,间隔最大使它有别于感知机;SVM还包括 核技巧 ,这使它成为实质上的非线性分类器。 SVM的的学习策略就是间隔最大化,可形式化为一个求解凸二次规划的问题,也等价于正则化的合页损失函数的最小化问题。 S
2022-04-02 16:33:17
3568
4
原创 【机器学习】吴恩达作业5.0,python实现方差与偏差
5.0 方差与偏差实现正则化线性回归,使用其来研究具有不同偏差-方差属性的模型。在练习的前半部分,您将使用水库水位的变化实现正则化线性回归来预测大坝的出水量。在下半部分中,您将对调试学习算法进行诊断,并检查偏差和方差的影响。本次的数据是以.mat格式储存的,x表示水位的变化,y表示大坝的出水量。数据集共分为三部分:训练集(X, y)、交叉验证集(Xval, yval)和测试集(Xtest, ytest)。高偏差:欠拟合 高方差:过拟合正则化(解决过拟合问题)惩罚系数过大...
2022-04-02 14:03:28
2406
2
原创 【机器学习】吴恩达作业4.0,python实现神经网络反向传播(BP算法)
4.0神经网络反向传播实现神经网络的反向传播算法,并将其应用于手写数字识别任务。实现反向传播算法来学习神经网络的反向传播BP算法由信号的正向传播和误差的反向传播两个过程组成。正向传播时,输入样本从输入层进入网络,经隐层逐层传递至输出层,如果输出层的实际输出与期望输出(导师信号)不同,则转至误差反向传播;如果输出层的实际输出与期望输出(导师信号)相同,结束学习算法。反向传播时,将输出误差(期望输出与实际输出之差)按原通路反传计算,通过隐层反向,直至输入层,在反传过程中将误差分摊给各层的各
2022-04-01 21:49:51
3846
5
原创 【机器学习】吴恩达作业3.1,python实现神经网络正向传播
3.1前馈神经网络使用前馈神经网络来识别手写数字(从0到9)。数据集MNIST手写体数据集,这里包含了5000个训练样本。之前用逻辑回归进行多元分类,这次用前馈神经网络进行预测。shen神经网络:类似于神经元细胞体,通过类似于树突的输入通道传递给神经元信息让它工作,再通过类似于轴突的输出通道输出结果。h在这里称为激活函数(activation function),我们称这个逻辑单元(logistic unit)是一个带激活函数的人工神经元(artificial neuron)。在激活函数中的参.
2022-04-01 20:00:08
2901
11
原创 【机器学习】吴恩达作业3.0,python实现逻辑回归手写多分类问题
3.0 多元逻辑回归案例:手写多分类问题使用逻辑回归和神经网络来识别手写数字(从0到9)。逻辑回归,并将其应用于one-vs-all分类。数据:本次的数据是以.mat格式储存的,mat格式是matlab的数据存储格式,按照矩阵保存,与numpy数据格式兼容,适合于各种数学运算,因此这次主要使用numpy进行运算。ex3data1中有5000个训练样例,其中每个训练样例是一个20像素×20像素灰度图像的数字,每个像素由一个浮点数表示,该浮点数表示该位置的灰度强度。每个20×20像素的网格被展开成一
2022-04-01 12:09:41
4375
8
原创 【机器学习】吴恩达作业2.1,python实现线性不可分logistic逻辑回归
2.1.Logistic回归模型 (线性不可分)用正则化的Logistic回归模型来预测一个制造工厂的微芯片是否通过质量保证(QA),在QA过程中,每个芯片都会经过各种测试来保证它可以正常运行。假设你是这个工厂的产品经理,你拥有一些芯片在两个不同测试下的测试结果,从这两个测试,你希望确定这些芯片是被接受还是拒绝,为了帮助你做这个决定,你有一些以前芯片的测试结果数据集,从中你可以建一个Logistic回归模型。正则化:如果有过多特征,则假设函数会很好的拟合训练集,代价函数可能近于0,但是泛化性很差
2022-04-01 10:51:00
3585
9
原创 【机器学习】吴恩达作业2.0,python实现线性可分logistic逻辑回归
2.1 Logistic回归模型 (线性可分)预测一个学生是否被大学录取。假设你是大学某个院系的管理员,你想通过申请人在两门考试中的表现来决定每个人的录取率,你有来自以前申请人的历史数据,你可以用这些数据作为训练集建立Logistic回归,对每一个训练样本,你有申请人在两门考试中的分数和录取决定。建立一个分类模型,基于这两门课的分数来估计申请人的录取概率。https://blog.csdn.net/weixin_44750583/article/details/88377195线性可分..
2022-04-01 10:49:37
6323
6
原创 【机器学习】吴恩达作业1.0,python实现线性回归预测
在本部分的练习中,您将使用一个变量实现线性回归,以预测食品卡车的利润。假设你是一家餐馆的首席执行官,正在考虑不同的城市开设一个新的分店。该连锁店已经在各个城市拥有卡车,而且你有来自城市的利润和人口数据。您希望使用这些数据来帮助您选择将哪个城市扩展到下一个城市损失函数梯度下降函数维度X(m,n)y(m,1) theta(n,1)读取数据import numpy as npimport pandas as pdimport matplotlib.pyplot as...
2022-03-25 21:57:18
17890
11
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅