![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
机器学习、深度学习源码阅读笔记
文章平均质量分 75
这里主要是一些代码阅读笔记,论文代码复现记录,踩坑合集什么的。
古承风
写代码,但不做码农
展开
-
tensor 转 rgb图像发现特别暗? 尝试反normalize
如果你从tensor生成的rgb图像非常暗,那么可能是由于你对图片进行了normalize, 可以尝试在生成rgb图像之前这么操作def inverse_normalize(tensor, mean, std): for t, m, s in zip(tensor, mean, std): t.mul_(s).add_(m) return tensorinput = inverse_normalize(tensor=input, mean=(0.485, 0.456,原创 2022-04-01 10:06:49 · 1148 阅读 · 1 评论 -
tensorflow实现手写数字识别
从torch入门的我,很排斥tensorflow, 不过最近不得不学了,不然我刚找的工作怕是要换人了。ok,那让我们愉快的学习吧。我们先来一个AI届的Hello World !! . 手写数字识别。然后遇到其中的问题我们再来一一解释,毕竟最快的学习方式还是项目!这个系列是这样计划的,完成手写体识别后就直接开始尝试复现我找工作的领域中的经典推荐算法模型了。复现完成后再重新补足理论。由于工业界对于tensorflow 1 系列的依赖太强,我们选用tensorflow 1.13.1 版本来进行。1. 环原创 2022-03-17 20:08:01 · 5235 阅读 · 1 评论 -
ML-支持向量机 SVM 直观理解
视频讲解地址硬间隔SVMhttps://www.bilibili.com/video/BV1Hs411w7ci?p=1https://www.bilibili.com/video/BV1Hs411w7ci?p=2https://www.bilibili.com/video/BV1Hs411w7ci?p=3软间隔https://www.bilibili.com/video/BV1Hs411w7ci?p=4约束优化https://www.bilibili.com/video/BV1Hs411w7原创 2021-08-19 19:04:53 · 240 阅读 · 0 评论 -
ML - EM算法
视频讲解地址https://www.bilibili.com/video/BV1Mx411o7ti?share_source=copy_web假如有一个事件,其有四种可能,发生的概率分别为:$(\frac{1}{2} - \frac{\theta}{4}),(\frac{1}{4}-\frac{\theta}{4}),(\frac{1}{4}+\frac{\theta}{4}),(\frac{\theta}{4})$概率12−θ4\frac{1}{2} - \frac{\theta}{4.原创 2021-08-18 00:11:42 · 903 阅读 · 0 评论 -
ML聚类-KMeasn 谱聚类 幂迭代聚类PIC
1. 常用聚类算法聚类算法是机器学习中非常重要的算法,聚类是将大量数据以相似度为基础形成若干类,使得类内之间的数据最为相似,各类之间的数据相似度差别尽可能大。聚类分析就是以相似性为基础,对数据集进行聚类划分,属于无监督学习。聚类分析可以直接比较各事物之间的性质,将性质相近的归为一类,将性质差别较大的归入不同的类。聚类具有广泛的应用领域,对于网络流量的监控和数据挖掘,可以实现舆情分析,获知出现的前所未有的热点事件。在商业上,市场消费数据的聚类,可以使企业相关人员获知新的消费趋势和市场需求。而在城市规划领域原创 2021-08-16 13:21:22 · 645 阅读 · 0 评论 -
ML-聚类
常用聚类算法聚类算法是机器学习中非常重要的算法,聚类是将大量数据以相似度为基础形成若干类,使得类内之间的数据最为相似,各类之间的数据相似度差别尽可能大。聚类分析就是以相似性为基础,对数据集进行聚类划分,属于无监督学习。聚类分析可以直接比较各事物之间的性质,将性质相近的归为一类,将性质差别较大的归入不同的类。聚类具有广泛的应用领域,对于网络流量的监控和数据挖掘,可以实现舆情分析,获知出现的前所未有的热点事件。在商业上,市场消费数据的聚类,可以使企业相关人员获知新的消费趋势和市场需求。而在城市规划领域,对于原创 2021-08-15 17:22:42 · 187 阅读 · 0 评论 -
ML-线性回归
1. 理论数据集: (x(i),γ(i)),i=1,2,…,m\left(x^{(i)}, \gamma^{(i)}\right), i=1,2, \ldots, m(x(i),γ(i)),i=1,2,…,m为一个训练数据,其中x(i)=(1,x1(i),x2(i),⋯ ,xn(i))x^{(i)}=\left(1, x_{1}^{(i)}, x_{2}^{(i)}, \cdots, x_{n}^{(i)}\right)x(i)=(1,x1(i),x2(i),⋯,xn(i))拟合公式hθ原创 2021-08-14 18:14:08 · 91 阅读 · 0 评论 -
sklean中自带的数据集
转载于: 知乎1. 调用方式例如:from sklearn import datasetsboston = datasets.load_boston() # 导入波士顿房价数据bostondataname.datadataname.targetdataname.feature_names2. Toy Datasets2.1. 波士顿房价-回归from sklearn import datasetsboston = datasets.load_bo.转载 2021-08-13 23:45:50 · 2217 阅读 · 0 评论 -
ML----一文入门机器学习
1. 前言这篇文章其实是人工智能程序员面试笔试宝典第一章的笔记。不同的是,它提到的大多数知识点我都作了实现。书中有部分老代码已经跑不通了,我给它改了一下;有些地方一笔略过,但是我感觉有用的也写了代码。还有一些待完善的地方,后续会继续增加内容的。书链接:豆瓣2. 分类2.1. 任务类型回归模型 : 预测某个无法枚举的数值,例如股价预测.分类模型 : 将样本分为n个类别,如信用风险异常识别结构化学习模型学习链接应用的领域包括: 语音识别\翻译\语法分析\目标检测\Summarizatio原创 2021-08-13 17:27:33 · 830 阅读 · 1 评论 -
天池-车辆产品聚类分析-积累笔记
文章目录1. 论坛中各个方法笔记2. 积累到的知识2.1 LabelEncoder方法`sklearn.preprocess.LabelEncoder``pd.get_dummies(data)`2.2 特征之间关联性分析`sns.pairplot(data=data)``train_corr=x_train.corr()`2.3 聚类评估方法`(kmeans.inertia_)`簇内误差平方和轮廓系数 `sklearn.metrics.silhouette_score`1. 论坛中各个方法笔记2. 积原创 2021-07-09 22:13:16 · 872 阅读 · 3 评论 -
AI基础-NLP概览-极速入门
笔记来源:《python自然语言处理核心算法与技术》 涂铭 等1. NLP 简介1.1. 定义nlp 即自然语言处理。1.2. 研究领域机器翻译情感分析智能问答文摘生成文本分类舆论分析知识图谱1.3. 相关术语分词 setgment英文分词自然的以空格作为分隔符。中文分词比较困难,典型的思路是基于字典的最长字符匹配,可以解决部分问题,但是对于歧义性很难解决。词性标注 part-of-speech tagging词性指的是:动词、名词、形容词等。标注的目的是表征.原创 2021-03-13 20:11:30 · 687 阅读 · 0 评论 -
AI基础—pytorch2—自动求导
数学中的案例假设y=x2,x=3y=x^2,x=3y=x2,x=3,那么我们对其求导的结果是这样的。∂y∂x=∂x2∂x=2x=6\frac{\partial y}{\partial x} = \frac{\partial x^2}{\partial x} = 2x = 6 ∂x∂y=∂x∂x2=2x=6∂(∂y∂x)∂x=∂(2x)∂x=2\frac{\partial (\frac{\partial y}{\partial x})}{\partial x} = \frac{\parti原创 2021-03-11 19:05:48 · 139 阅读 · 0 评论 -
AI基础-pytorch-1 张量tensor
张量的创建张量创建的方式有许多种直接创建直接数组创建import torchimport numpytorch.tensor([[0.1,1.2],[2.2,3.1],[4.9,5.2]])上面是直接创建,这样的方式我们最容易理解。直接给出原始数据。需要注意的是,参数必须是一个数组,多个数组的话需要合成一个数组。从numpy数组创建a = numpy.array([1,2,3])t = torch.from_numpy(a)t因为机器学习中numpy比较常用,但是它们想利用p原创 2021-03-11 16:18:56 · 687 阅读 · 0 评论 -
龙珠计划-机器学习-day03-基于LightGBM的分类预测
1. LightGBM简介1.1 简介LightGBM是的XGBoost的升级版,与XGBoost有近似精度的前提下,又大大提高了训练速度。LightGBM的主要优点:简单易用。提供了主流的Python\C++\R语言接口,用户可以轻松使用LightGBM建模并获得相当不错的效果。高效可扩展。在处理大规模数据集时高效迅速、高准确度,对内存等硬件资源要求不高。鲁棒性强。相较于深度学习模型不需要精细调参便能取得近似的效果。LightGBM直接支持缺失值与类别特征,无需对数据额外进行特殊处理原创 2021-03-11 10:46:37 · 447 阅读 · 0 评论 -
AI基础---matlab---十行代码图像分类
1. 图像分类基本思路我们讨论的前提是可以利用已有的模型进行训练,而不用再单独训练。一般来说,有以下流程:读取图像数据加载预训练模型利用分类函数classify(model,img)进行分类得到标签画出图像和标签实战—googlenet图像分类img = imread("1.png");net = googlenet;img = imresize(img,[224,224]);label = classify(net,img);figure;imshow(img);ti原创 2021-03-09 19:11:17 · 563 阅读 · 0 评论 -
龙珠计划-机器学习- day02 利用XGBoost 进行分类
1. XGBoost简介1.1 简介XGBoost是2016年由华盛顿大学陈天奇老师带领开发的一个可扩展机器学习系统。严格意义上讲XGBoost并不是一种模型,而是一个可供用户轻松解决分类、回归或排序问题的软件包。它内部实现了梯度提升树(GBDT)模型,并对模型中的算法进行了诸多优化,在取得高精度的同时又保持了极快的速度,在一段时间内成为了国内外数据挖掘、机器学习领域中的大规模杀伤性武器。XGBoost在机器学习与数据挖掘领域有着极为广泛的应用。据统计在2015年Kaggle平台上29个获奖方案中,1原创 2021-03-08 08:09:40 · 1283 阅读 · 0 评论 -
龙珠计划-机器学# 龙珠计划-机器学习-day01-逻辑回归
课程链接:龙珠计划逻辑回归就是用回归的方法解决分类的问题.其具有以下特点:优点:实现简单,易于理解和实现;计算代价不高,速度很快,存储资源低;缺点:容易欠拟合,分类精度可能不高1. 逻辑回归demo!pip install seaborn!pip install scikit-learn先安装必须的包,如果是在阿里的DSW环境中的话,这些包应该已经配置好了.首先,导入必须的工具包.import numpy as npimport matplotlib.pyplot as pl原创 2021-03-06 14:31:36 · 205 阅读 · 0 评论 -
AI基础_pandas数据分析实战
AI基础__天池pandas数据分析学习赛赛事链接: 天池pandas学习赛1. 数据准备数据可以在赛事指南中按照文档描述进行下载,一共需要以下三个数据集.候选人信息表格委员会信息个人捐款档案数据的预处理,官方给了一个baseline.数据预处理baseline2. 数据分析根据数据准备阶段得到的数据.现在的数据结果如下.其中,各个字段的意思如下:CAND_PTY_AFFILIATION 党派名称2.1 党派分析下面计算各个党派所获得的捐款总额:c_itco原创 2021-03-05 08:26:57 · 187 阅读 · 1 评论 -
AI基础_matplotlib极速入门
1. 前言matplotlib 对于机器学习和深度学习的数据可视化是极其重要的。本文将依据天池的matplotlib教程进行叙述,只记录最核心的内容,力求最快的速度入门matplotlib,其他内容敬请各位边用边学。2. 第一个例子——折线图import matplotlib.pyplot as pltimport numpy as npfig,ax = plt.subplots()ax.plot([1,2,3,4],[1,4,2,3])上述代码也可以简化为如下:plt.原创 2021-03-03 23:05:49 · 227 阅读 · 2 评论 -
各个深度模型解读(5) 多层感知机
实现代码:GardenLu的Giteee理论感知机从广义上来说,感知机可以是一种可以接受信息的模型,我们的神经系统就可以接受信息,比如你看到了美女,眼睛就很难移开,所以我们的神经系统就是一个典型的感知机,这个概念也是由此而来。同样的,机器学习模型可以接受数据,并形成动作和输出,所以我们的机器学习模型,同样也是一个感知机。由来在生物领域对人体感知的探索中,需要回答三个问题:神经系统是以怎样的方式接受到外界信息的。信息是以怎样的形式存储的/被记忆的已经存储的信息是怎样对我们的认知和行为产原创 2020-09-24 01:45:27 · 868 阅读 · 0 评论 -
各个深度模型解读(4) Softmax + mlxtend
写在前面理论没什么好讲的,参考之前的文章. 本文只是加了多分类的可视化.请看之前的文章:各个深度模型解读(3) softmax 回归 (多分类)实战包导入 与超参数设置import torchsnooper as torchsnooperfrom torchvision import datasetsfrom torchvision import transformsfrom torch.utils.data import DataLoaderimport torch.nn.functio原创 2020-09-22 20:46:40 · 473 阅读 · 0 评论 -
各个深度模型解读(3) softmax 回归 (多分类)
原理softmax 回归一般用于多分类.如果我们下图遇到这种分类任务,没得说,反手就是一个逻辑回归.逻辑回归按照上图的数据,我们建立一个模型:y=XW+by = XW+by=XW+blabel=sigmoid(y)label = sigmoid(y)label=sigmoid(y)然后,我们的任务就是训练这个W和b,由于这玩意明显只有两个维度的特征, 输出就是一个一维的0或者1,所以我们的W的形状就是(2×1). 然后:数据正则化参数初始化为0或随机初始化计算梯度和error原创 2020-09-21 22:07:21 · 1661 阅读 · 0 评论 -
各个模型解读专题(2) 逻辑回归
代码来源: gihub导入import matplotlib.pyplot as pltimport numpy as npfrom io import BytesIOimport torchimport torch.nn.functional as Fimport pandas as pdprint(torch.__version__)数据集准备阶段df = pd.read_csv('http://archive.ics.uci.edu/ml/machine-learni.原创 2020-09-20 17:21:13 · 261 阅读 · 0 评论 -
全连接层: 权值初始化
梯度消失与爆炸的由来一般来说全连接网络的结构示意图如上:我们先来看w2的梯度:可以看到,梯度的值严重依赖于中间层的输出值。因此,我们必须控制这种输出的范围。 才能够让我们各个层的标准差处于正常范围。Xavier 初始化方差一致性:保持数据尺度维持在恰当的范围,通常方差为1.激活函数:饱和函数,如Sigmoid,Tanh同时考虑了前向传播和反向传播的数据尺度问题。最后我们得到权值的方差应该为:D(W)=2ni+ni+1D(W) = \frac{2}{n_i+n_{i+1}}D(W原创 2020-05-19 12:55:11 · 4875 阅读 · 1 评论