- 博客(39)
- 收藏
- 关注
RSS订阅原创 计算机视觉笔记04_图像滤波
图像滤波滤波是信号处理中的一个概念，我们可以把图像视为一种二维信号。在图像处理中，滤波是经常用到的技术，滤波是很多图像算法的基础或前置步骤，掌握图像滤波对卷积神经网络也有一定帮助。滤波的分类线性滤波对邻域中的像素的计算为线性运算时，如利用窗口函数进行平滑加权求和的运算，或者某种卷积运算，都可以称为线性滤波。常见的线性滤波有：均值滤波、高斯滤波、盒子滤波、拉普拉斯滤波等等，通常线性滤波器之间只是模版系数不同。非线性滤波非线性滤波利用原始图像跟模版之间的一种逻辑关系得到结果，如最值滤波器，中
2021-09-20 21:10:53
242
原创 计算机视觉笔记03_彩色空间互转
彩色空间互转在图像转换中，除了平移旋转等像素位置转换以外，还有广泛用到的图像色彩空间转换，有很多图像算法会将图像从RGB转换为其他颜色空间颜色空间原理RGBRGB（红绿蓝）是依据人眼识别的颜色定义出的空间，可表示大部分颜色。科学研究一般不采用RGB颜色空间，因为它的细节难以进行数字化的调整。它将色调，亮度，饱和度三个量放在一起表示，很难分开。它是最通用的面向硬件的彩色模型。该模型用于彩色监视器和一大类彩色视频摄像。RGB颜色空间 基于光的三原色叠加原理，从黑色不断叠加不同程度的Red，Green，
2021-09-18 23:02:49
179
原创 计算机视觉笔记02_几何变换
几何变换简介图像常用一些变换如平移、旋转、翻转等。在传统CV领域，由于拍摄角度问题，我们可能需要对图像作矫正处理；在深度学习领域，我们可能会利用旋转，仿射，镜像等操作进行数据增广。因此对图像做几何变换也是非常常用的手段。常用的几何变换平移...
2021-09-16 22:46:14
150
原创 计算机视觉笔记01_图像插值算法
图像插值算法简介在图像处理中，有平移，旋转，缩放等常用操作。这些操作并不改变图像的像素值，只是在图像上进行像素的重新排列，图像变换常用到一些插值算法，本节主要介绍常见的最近邻插值、双线性插值最近邻插值最近邻插值，是将目标图像中的点，对应到源图像中后，找到最相邻的整数点，作为插值后的输出。假设我们将一幅3X3的图像放大到4X4，用f(x,y)f(x, y)f(x,y)表示目标图像，h(x,y)h(x, y)h(x,y)表示原图像，我们有如下公式：f(dstx,dsty)=h(dstxsrcwidt
2021-09-14 23:47:30
323
原创 李宏毅机器学习笔记07-总结
回顾我们来回顾一下之前针对李宏毅机器学习视频的笔记01-机器学习介绍介绍机器学习的概念，监督学习，无监督学习，迁移学习，强化学习等概念02-回归介绍回归的概念，应用，线性回归，利用损失函数进行模型评估，使用梯度下降法拟合模型03-误差和梯度下降介绍偏差与方差，欠拟合与过拟合，交叉验证方法，梯度下降优化（学习率调节，随机梯度下降法，特征缩放等）04-深度学习反向传播机制介绍神经网络的构建，模型的评估，优化函数选择，梯度下降反向传播机制05-网络设计技巧介绍局部最小值与鞍点、批次与动量、自
2021-07-25 10:04:04
100
转载 李宏毅机器学习笔记06-卷积神经网络
为什么用CNN我们都知道CNN常常被用在影像处理上，如果你今天用CNN来做影像处理，当然也可以用一般的neural network来做影像处理，不一定要用CNN。比如说你想要做影像的分类，那么你就是training一个neural network,input一张图片，那么你就把这张图片表示成里面的pixel，也就是很长很长的vector。output就是(假如你有1000个类别，output就是1000个dimension)dimension。那我相信根据刚才那堂课内容，若给你一组training da
2021-07-24 14:02:32
296
原创 李宏毅机器学习笔记05-网络设计技巧
网络设计技巧类神经网络训练不起来怎么办(一)局部最小值与鞍点如何分辨到底是卡在local minima 还是 saddle point？L (θ) loss function 在 θ’ 附近的泰勒展开式，其中 gradient是一个向量，弥补 θ和θ’ 之间的差距；hessian是一个矩阵，会补足加上gradient后与真正的L (θ) 之间的差距。如果走到了一个critical point,意味着gradient为0，即绿色这一项为0 ，只剩下红色这一项。为了方便，将(θ - θ’)设
2021-07-21 21:01:58
227
原创 算法竞赛实践-通用场景OCR文本识别任务_改进学习策略
上分思路调整模型超参数并重新finetune改进检测流程尝试在其它模型基础上finetune添加图片预处理搭建更优的模型结构并从零训练分析图片数据部分图片如小票等拍摄时有偏转和透视角度解决思路：考虑多旋转几个方向测试用霍夫变换、透视变换摆正部分像广告类图片存在各种样式的艺术字体解决思路：切出来finetun recognizer从图像检索任务借鉴思路字迹模糊的样本解决思路：锐化和对比度增强类处理训练时加随机模糊提高鲁棒性广告类存在弯曲排版的文本解决
2021-07-19 23:30:47
181
2
转载 李宏毅机器学习笔记04-深度学习反向传播机制
深度学习的三个步骤我们都知道机器学习有三个step，对于deep learning其实也是3个步骤：Step1：神经网络（Neural network）Step2：模型评估（Goodness of function）Step3：选择最优函数（Pick best function）Step1：神经网络神经网络（Neural network）里面的节点，类似我们的神经元。神经网络也可以有很多不同的连接方式，这样就会产生不同的结构（structure）在这个神经网络里面，我们有很多逻辑回归函数，
2021-07-18 18:03:32
502
转载 李宏毅机器学习笔记03-误差和梯度下降
Error的来源从上节课测试集数据来看，Average ErrorAverage\ ErrorAverage Error 随着模型复杂增加呈指数上升趋势。更复杂的模型并不能给测试集带来更好的效果，而这些 ErrorErrorError 的主要有两个来源，分别是 biasbiasbias 和 variancevariancevariance 。然而 biasbiasbias 和 variancevariancevariance 是什么？可以查看 机器学习中的Bias(偏差)，Erro
2021-07-16 22:54:36
140
原创 算法竞赛实践-通用场景OCR文本识别任务_Baseline学习实践
OCR （Optical Character Recognition，光学字符识别）是最早的计算机视觉任务之一。人类使用电子设备（图像采集装置）采集现实场景中打印的字符，然后通过检测字符的形状，用字符识别的方法将其翻译成计算机文字。随着技术的发展，OCR已经逐渐应用到社会的各种需求中。现在我们尝试参与天池算法比赛“通用场景OCR文本识别任务”。我们先...
2021-07-15 23:29:13
488
转载 李宏毅机器学习笔记02-回归
回归回归定义回归（Regression） 就是找到一个函数 function，通过输入特征 x，输出一个数值 Scalar。应用举例股市预测（Stock market forecast）输入：过去10年股票的变动、新闻咨询、公司并购咨询等输出：预测股市明天的平均值自动驾驶（Self-driving Car）输入：无人车上的各个sensor的数据，例如路况、测出的车距等输出：方向盘的角度商品推荐（Recommendation）输入：商品A的特性，商品B的特性输出：购买商品B的可能性
2021-07-14 20:54:40
61
转载 李宏毅机器学习笔记01-机器学习介绍
李宏毅老师的机器学习视频是机器学习领域经典的中文视频之一，也被称为中文世界中最好的机器学习视频。李老师以幽默风趣的上课风格让很多晦涩难懂的机器学习理论变得轻松易懂，并且老师会通过很多有趣的例子结合机器学习理论在课堂上展现出来，并且逐步推导深奥的理论知识。为什么要学习机器学习人工智慧是我们想要达成的目标，而机器学习是想要达成目标的手段，希望机器通过学习方式，他跟人一样聪明。而深度学习和机器学习有什么关系呢？深度学习就是机器学习的其中一种方法。假设有一天你想要做一个chat-bot，如果你不是用机器学习的
2021-07-12 21:52:54
107
原创 图神经网络_08-总结
图神经网络总结经过前面几节的学习，我们再来回顾一下图神经网络。图神经网络作用图神经网络是人们通过在深度学习的研究中在图上扩展出来的新的神经网络，通过借鉴卷积神经网络、循环神经网络的思想，设计了用于处理图数据的神经网络结构。目前图神经网络中相关的研究热点方向包括了以下三种：数据具有明确关系的结构场景，如物理系统，分子结构和知识图。非结构性场景，关系结构不明确，包括图像、文本等。其他应用场景，如生成模型和组合优化问题。图神经网络种类图神经网络发展也很丰富，主要有这几种：图卷积网络（Graph
2021-07-10 21:44:22
206
原创 图神经网络_07-图预测任务
图预测任务自定义数据集要完成一个完整的图预测任务，首先我们来创建一个自己的数据集。我们通过继承torch_geometric.data.Dataset基类来自定义一个按需加载样本到内存的数据集类。import os.path as ospimport torchfrom torch_geometric.data import Dataset, download_urlclass MyOwnDataset(Dataset): def __init__(self, root, transf
2021-07-10 00:10:46
994
原创 图神经网络_06-基于图神经网络的图表征学习方法
基于图神经网络的图表征学习方法图表征学习要求根据节点属性、边和边的属性(如果存在)生成一个向量作为图的表征，基于图表征可以做图的预测。基于图同构网络GIN(Graph Isomorphism Network)的图表征网络是当前最经典的图表征学习网络。基于图同构网络(GIN)的图表征网络的实现过程基于图同构网络的图表征学习主要包含以下两个过程：首先计算得到节点表征；对图上各个节点的表征做图池化(Graph Pooling)，或者称为图读出(Graph Readout)，得到图的表征(Graph R
2021-07-05 22:22:29
469
原创 图神经网络_05-超大图上的节点表征学习
超大图上的节点表征学习我们使用内存数据集将图神经网络应用于许多节点或边的预测任务，然而在实际的工作中面临着超大图上进行图神经网络的训练，巨大的内存(显存)消耗问题。论文Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Network提出了一种新的图神经网络的训练方法。Cluster-GCN方法简介为了解决普通训练方法无法训练超大图的问题，Cluster-GCN论文提出：利用图节点聚
2021-07-01 21:26:36
129
原创 图神经网络_04-数据完整存储与内存的数据集类+节点预测与边预测任务实践
数据完整存储与内存的数据集类使用数据集的一般过程PyG使用数据的一般过程：从网络上下载数据原始文件；对原始数据文件做处理，为每一个图样本生成一个Data对象；对每一个Data对象执行数据处理，使其转换成新的Data对象；过滤Data对象；保存Data对象到文件；获取Data对象，在每一次获取Data对象时，都先对Data对象做数据变换，所以获取到的是数据变换后的Data对象）。实际中并非需要严格执行每一个步骤占用内存较小的数据集，我们可以将整个数据集的数据都存储到内存里。PyG提供数
2021-06-27 17:34:03
988
1
原创 图神经网络_03-基于图神经网络的节点表征学习
基于图神经网络的节点表征学习图节点预测或边预测任务过程：使用图神经网络来生成节点表征，并通过基于监督学习的对图神经网络的训练，使得图神经网络学会产生高质量的节点表征。高质量的节点表征能够用于衡量节点的相似性，同时高质量的节点表征也是准确分类节点的前提。Cora数据集Cora是一个论文引用网络，节点代表论文，如果两篇论文存在引用关系，则对应的两个节点之间存在边，各节点的属性都是一个1433维的词包特征向量。获取并分析数据集from torch_geometric.datasets import P
2021-06-24 00:21:03
561
原创 动手学数据分析5-数据建模及模型评估
数据建模及模型评估数据分析的目的就是，运用数据结合业务来得到得到或评估我们需要知道的结果。经过前面的学习，我们学会了数据清洗，可视化等操作。下面我们来进行数据建模，搭建一个预测模型或者其他模型，从这个模型的到结果，我们还要分析模型是不是足够的可靠，也就是评估这个模型。我们利用泰坦尼克号的数据集，来完成泰坦尼克号存活预测任务。数据建模# 读取原数据数集train = pd.read_csv('train.csv')train.shape我们利用前面数据清洗的方法对原始数据进行清洗去除无用的
2021-06-22 23:55:08
1040
原创 图神经网络_02-消息传递范式
消息传递范式在图神经网络中，为节点生成节点表征是图计算任务成功的关键。在此小节，本节学习基于神经网络的生成节点表征的范式——消息传递范式。消息传递范式是一种聚合邻接节点信息来更新中心节点信息的范式，它将卷积算子推广到了不规则数据领域，实现了图与神经网络的连接。消息传递范式包含三个步骤：邻接节点信息变换邻接节点信息聚合到中心节点聚合信息变换神经网络的生成节点表征的操作可称为节点嵌入（Node Embedding），节点表征也可以称为节点嵌入。下图展示了基于消息传递范式的生成节点表征的过程：
2021-06-19 17:20:01
376
原创 动手学数据分析3-数据重构
数据重构一、数据合并我们将之前的train.csv分成了四部分前左(left-up)前右(right-up)后左(left-down)后右 (right-down)text_left_up = pd.read_csv("data/train-left-up.csv")text_left_down = pd.read_csv("data/train-left-down.csv")text_right_up = pd.read_csv("data/train-rig
2021-06-19 16:49:06
146
原创 动手学数据分析2-数据清洗及特征处理
数据清洗在把数据拿来做分析前，通常我们要做数据清洗，因为我们拿到的原始数据通常是不干净的，所谓的不干净，就是数据中有异常值，缺失值或存在不能直接使用的值等，需要经过一定的处理才能继续做分析或建模。所以拿到数据的第一步是进行数据清洗，对缺失值、重复值、字符串等做数据清理转换等操作，将数据清洗成可以分析或建模的样子。观察缺失值import numpy as npimport pandas as pddf = pd.read_csv("train.csv")# 通过info查看数据信息df.info
2021-06-17 21:56:53
290
原创 图神经网络_环境配置与PyG的使用
环境配置与PyG的使用PyTorch Geometric (PyG)是面向几何深度学习的PyTorch的扩展库，几何深度学习指的是应用于图和其他不规则、非结构化数据的深度学习。基于PyG库，我们可以轻松地根据数据生成一个图对象，然后很方便的使用它；我们也可以容易地为一个图数据集构造一个数据集类，然后很方便的将它用于神经网络。环境配置使用nvidia-smi命令查询显卡驱动是否正确安装安装正确版本的pytorch和cudatoolkit，此处安装1.8.1版本的pytorch和11.1版本的cud
2021-06-16 23:51:59
561
1
原创 图神经网络_01-图结构数据的认识
图数据结构的认识图的定义一个图被记为G={V,E}\mathcal{G}=\{\mathcal{V}, \mathcal{E}\}G={V,E}，其中 V={v1,…,vN}\mathcal{V}=\left\{v_{1}, \ldots, v_{N}\right\}V={v1,…,vN}是数量为NNN的结点的集合， E={e1,…,eM}\mathcal{E}=\left\{e_{1}, \ldots, e_{M}\right\}E={e1,…,eM} 是数量为 MMM 的边的集合。图用节
2021-06-15 22:22:34
660
原创 动手学数据分析1-数据加载及探索性数据分析
动手学数据分析1-数据加载及探索性数据分析数据加载# 导入numpy和pandasimport numpy as npimport pandas as pd# 读入整个csv文件数据df = pd.read_csv('train.csv')# 显示前5条print(df.head(5)# 也可以按每100为一个数据模块，逐块读取chunker=pd.read_csv("train.csv",chunksize=100)while True: try: df=
2021-06-14 14:31:12
106
1
原创 集成学习笔记13-集成学习案例1
集成学习案例1-幸福感预测该案例是一个数据挖掘类型的比赛——幸福感预测的baseline。具体来说，我们需要使用包括个体变量（性别、年龄、地域、职业、健康、婚姻与政治面貌等等）、家庭变量（父母、配偶、子女、家庭资本等等）、社会态度（公平、信用、公共服务等等）等139维度的信息来预测其对幸福感的影响。数据来源于国家官方的《中国综合社会调查（CGSS）》文件中的调查结果中的数据数据信息赛题要求使用以上 139 维的特征，使用 8000 余组数据进行对于个人幸福感的预测（预测值为1，2，3，4，5，其中1
2021-05-19 00:14:24
412
原创 集成学习笔记12-Stacking算法分析与案例调参实例
Stacking算法分析与案例调参实例Stacking方法是一种分层模型集成框架。以两层为例，首先将数据集分成训练集和测试集，利用训练集训练得到多个初级学习器，然后用初级学习器对测试集进行预测，并将输出值作为下一阶段训练的输入值，最终的标签作为输出值，用于训练次级学习器（通常最后一级使用Logistic回归）。由于两次所使用的训练数据不同，因此可以在一定程度上防止过拟合。由于要进行多次训练，因此这种方法要求训练数据很多，为了防止发生划分训练集和测试集后，测试集比例过小，生成的次级学习器泛化性能不强的问题
2021-05-13 23:19:49
1900
原创 集成学习笔记12-Blending集成学习算法
Blending集成学习算法之前提到过Bagging和Boosting集成学习算法，目前还有一种集成学习方法Stacking，这个被称为“懒人”算法，因为它不需要花费过多时间调参而且理论简单易于理解。Stacking集成算法可以理解为一个两层的集成，第一层含有多个基础分类器，把预测的结果(元特征)提供给第二层， 而第二层的分类器通常是逻辑回归，他把一层分类器的结果当做特征做拟合输出预测结果。在介绍Stacking之前，我们先来对简化版的Stacking进行讨论，也叫做Blending。Blending
2021-05-12 00:35:43
126
原创 集成学习笔记11-XGBoost算法分析与案例调参实例
XGBoost算法分析与案例调参实例XGBoost算法分析XGBoost是陈天奇等人开发的一个开源机器学习项目，高效地实现了GBDT算法并进行了算法和工程上的许多改进，被广泛应用在Kaggle竞赛及其他许多机器学习竞赛中并取得了不错的成绩。XGBoost本质上还是一个GBDT，但是力争把速度和效率发挥到极致，所以叫X (Extreme) GBoosted。XGBoost是一个优化的分布式梯度增强库，旨在实现高效，灵活和便携。 它在Gradient Boosting框架下实现机器学习算法。 XGBoo
2021-04-26 23:36:39
187
原创 集成学习笔记10-前向分步算法与梯度提升决策树
前向分步算法对于之前的Adaboost，我们需要计算多个基本分类器的错误率、样本权重及模型权重来综合得到一个强分类器来解决分类问题。进一步，我们可以利用Adaboost的逻辑，构建前向分步算法，不仅可以解决分类问题，还可以解决回归问题。加法模型在Adaboost模型中，我们把每个基本分类器合成一个复杂分类器的方法是每个基本分类器的加权和，即：f(x)=∑m=1Mβmb(x;γm)f(x)=\sum_{m=1}^{M} \beta_{m} b\left(x ; \gamma_{m}\righ
2021-04-23 20:00:12
97
原创 集成学习笔记09-Boosting算法原理与AdaBoost
Boosting算法原理与AdaBoostBoosting原理Boosting方法是使用同一组数据集进行反复学习得到的弱学习器来最终产生预测性能强大的学习器。Boosting是通过不断减少偏差的形式来提高最终的预测效果，与之前介绍的Bagging有着本质的不同。Bagging是采用通过全样本抽样子集进行训练投票得出最终的预测，而Boosting是全样本训练优化。Bagging和Boosting的区别样本选择：Bagging：训练集是有放回的选取出子集的，各子集独立训练。Boosting：训练
2021-04-20 01:09:52
276
原创 集成学习笔记08-Bagging算法原理及应用
Bagging算法原理及应用Bagging原理Bagging是通过对数据进行有放回的自助采样(Bootstrap)，对采样集合训练出基学习器，通过如此反复多次的学习，将多个基学习器进行简单投票法。Bagging步骤从全样本集中有放回的随机取k个样本作为一个样本集，重复T次，取得T个样本集对T个样本集每个训练出一个基学习器对所有基学习器预测结果采用取平均值(回归问题)或投票法(分类问题)得出最终结果Bagging方法之所以有效，是因为每个模型都是在略微不同的训练数据集上拟合完成的，这又使得
2021-04-17 00:35:17
955
原创 集成学习笔记06-分类模型的评估及调优
分类模型的评估及超参数调优分类模型与回归模型一样,可以通过网格搜索进行超参数的调优。我们在这里用两种方式尝试超参数调优：网格搜索（GridSearchCV）随机网格搜索()
2021-03-30 00:56:58
153
原创 集成学习笔记05-基本的分类模型
分类模型分类模型的因变量是离散值，不同与回归模型的因变量为连续值，单单衡量预测值 和因变量的相似度可能行不通。分类问题中，我们对于每个类别犯错的代价不尽相同。例如：我们将癌症患者错误预测为无癌症和无癌症患者错误预测为癌症患者，在医院和个人的代价都是不同的，前者会使得患者无法得到及时的救治而耽搁了最佳治疗时间甚至付出生命的代价，而后者只需要在后续的治疗过程中继续取证就好了，因此我们很不希望出现前者，当我们发生了前者这样的错误的时候会认为建立的模型是很差的。为了解决这些问题，我们必须将各种情况分开讨论，然后给
2021-03-27 00:40:30
392
原创 集成学习笔记04-模型评估与超参数调优
模型评估与超参数调优参数与超参数模型参数是模型内部的配置变量，其值可以根据数据进行估计。- 进行预测时需要参数。- 它参数定义了可使用的模型。- 参数是从数据估计或获悉的。- 参数通常不由编程者手动设置。- 参数通常被保存为学习模型的一部分。- 参数是机器学习算法的关键，它们通常由过去的训练数据中总结得出 。模型超参数是模型外部的配置，其值无法从数据中估计。- 超参数通常用于帮助估计模型参数。- 超参数通常由人工指定。- 超参数通常可以使用启发式设置。- 超参数经常被调整为给定的预
2021-03-22 23:51:24
222
原创 集成学习笔记03-偏差与方差
偏差与方差我们建立机器学习最终的目的是将训练好的模型部署到真实的环境中，希望训练好的模型能够在真实的数据上得到好的预测效果，换句话说就是希望模型在真实数据上预测的结果误差越小越好。我们需要一些未出现在训练集的未知数据集成为测试数据集，简称测试集。(a) 均方误差：在回归中，我们最常用的评价指标为均方误差，即：MSE=1N∑i=1N(yi−f^(xi))2MSE = \frac{1}{N}\sum\limits_{i=1}^{N}(y_i -\hat{ f}(x_i))^2MSE=N1i=1∑N
2021-03-22 22:32:09
380
原创 集成学习笔记02-回归模型
回归模型Datawhale开源集成学习笔记02Datawhale开源集成学习笔记02线性回归模型回归这个概念是19世纪80年代由英国统计学家郎西斯.高尔顿在研究父子身高关系提出来的，他发现：在同一族群中，子代的平均身高介于父代的身高以及族群的平均身高之间。具体而言，高个子父亲的儿子的身高有低于其父亲身高的趋势，而矮个子父亲的儿子身高则有高于父亲的身高的趋势。也就是说，子代的身高有向族群平均身高"平均"的趋势，这就是统计学上"回归"的最初含义。回归分析是一种预测性的建模技术，它研究的是因变量（目标）和
2021-03-18 00:05:38
225
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人