![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
数据与处理
文章平均质量分 74
数据获取。数据处理方法,代码实现
Ma Sizhou
低级的欲望,放纵即可获得;高级的欲望,克制才能达到。
展开
-
kaggle比赛:Classify Leaves(使用resnet50预训练模型进行:图片树叶分类)
目录1、比赛介绍:2、数据划分:3、图像增广:4、读取数据:5、模型构造:6、计算损失:7、模型训练:8、模型推理:9、上传预测结果到kaggle:本文内容来源于《动手深度学习》一书。跟着沐神做kaggle比赛。注:以下代码都在jupyter中完成。1、比赛介绍:该任务是:给出树叶的图片,将给出的树叶分成176类。数据如下图所示,通过下面的网址,下载训练数据和测试数据:比赛地址及数据下载地址:https://www.kaggle.com/c/classify-leaves/da.原创 2021-08-07 16:26:03 · 3944 阅读 · 6 评论 -
给你一些图片,如何转换成pytorch的tensor,以便送入模型训练?
目录1、PIL包读取图片地址,并转化为Tensor2、将PIL图片转化为Tensor3、Tensor转化为PIL图片4、直接展示tensor格式图片5、直接保存tensor格式图片6、测试:在做图片分类的kaggle比赛的时候,需要将图片转换为Pytorch的Tensor。为了以后再查看,记录一下Pytorch的Tensor与各种图像格式的相互转化详解。这里,使用python自带图像处理库PIL,给出图片地址,将图片读取出来。然后使用torchvision中自带的transforms函数,将读.原创 2021-07-31 15:50:42 · 4011 阅读 · 0 评论 -
kaggle比赛:Predict California sales prices(房价预测)
目录1、比赛介绍:2、导入数据:3、项目构建:特征选择:预处理:训练:模型推理及保存预测结果:4、上传预测结果到kaggle:5、总结:本文内容来源于《动手深度学习》一书。跟着沐神做kaggle比赛。1、比赛介绍:该任务是预测房屋销售价格的基础上的信息,如卧室的数量,生活区,位置,附近的学校,和卖方总结。数据包括2020年在加州售出的房屋,测试数据集中售出的房屋排在训练数据集中之后。此外,私人排行榜房屋也在公开排行榜房屋之后出售。数据如下图所示,通过下面的网址,下载训练数据和测试数据:比.原创 2021-07-13 20:00:57 · 4008 阅读 · 15 评论 -
气象数据集
中国气象数据网 下载中国气象站点的数据,要么需要认证,要么就是要钱。确实弄得人很心烦。美国NOAA有一个专门下载全球气象站数据的网站 可以下载 全球的气象站点的数据。不需要注册,不需要项目权限,但是首次下载这个数据还是让人很头疼,下面是访问地址:https://gis.ncdc.noaa.gov/maps/ncei#app=clim&cfg=cdo&theme=hourly&layers=1&node=gis下面我们就看看如何从这个网站上下载中国气象站点的气象数.原创 2021-06-17 00:42:41 · 3838 阅读 · 11 评论 -
python环境下使用opencv把视频切割成图片
目录1、环境准备2、切割视频1、环境准备第一步,先安装opencv,完整的名字是:opencv-pythonpip install opencv-python需要注意的是,安装opencv之前需要先安装numpy,matplotlib等2、切割视频原创 2020-09-22 23:23:20 · 2819 阅读 · 4 评论 -
Pandas学习:(2)Dataframe表的合并、联接、连接
我们在处理数据的时候,有时候需要将两个或多个Dataframe表处理成一个,至于怎么变成一个,就是我们项目具体的需求了,这篇博客正是做这样一件事。目录一、一、原创 2020-09-08 20:52:03 · 3112 阅读 · 0 评论 -
根据经纬度计算距离,Python+Pandas实现例子
纬度计算距离公式原理.经纬度计算距离公式:其中:1、Lung1 Lat1表示A点经纬度, Lung2 Lat2表示B点经纬度;2、a=Lat1 – Lat2 为两点纬度之差 b=Lung1 -Lung2 为两点经度之差;3、6378.137为地球半径,单位为千米;4、计算出来的结果单位为千米,若将半径改为米为单位则计算的结果单位为米;5、计算精度与谷歌地图的距离精度差不多,相差范围在0.2米以下。...原创 2020-09-03 21:14:41 · 6225 阅读 · 0 评论 -
Pandas学习:(1)Pandas基础介绍
目录一、Pandas 概览:1、Pandas 是什么?2、数据结构二、 Pandas基础介绍 :1、生成对象2、查看数据3、选择数据(这部分挺重要的)(1)获取数据(2)按标签选择,主要用了.loc方法:(3)按位置选择,主要用了.iloc方法:(4)布尔索引(5)赋值4、缺失值处理5、运算一、Pandas 概览:1、Pandas 是什么?Pandas 是 Python 的核心数据分析支持库,提供了快速、灵活、明确的数据结构,旨在简单、直观地处理关系型、标记型数据。Pandas 的目标是成为 Pyth原创 2020-08-21 23:24:45 · 368 阅读 · 0 评论 -
图卷积神经网络笔记——第六章:(1)基于PyTorch的时序数据处理(交通流量数据)
在前面说了PyG这个框架,但是这个框架处理数据其实没那么简单,并且有时候我们想要改变底层的图卷积框架时就无能为力了,所以这一章说一下用PyTorch怎么写出图卷积并且实现交通流量数据的预测。但在这之前,需要先处理好需要的数据。文章目录1、数据来源2、数据分析3、数据处理(1)读入数据并取需要的特征(2)数据集处理:写成PyTorch所需要的数据集的类1、数据来源数据来自美国的加利福尼亚州的洛杉矶市,第一个CSV文件是关于节点的表示情况,一共有307个节点,第二个npz文件是交通流量的文件,时间范围.原创 2020-08-06 11:34:22 · 15672 阅读 · 92 评论 -
图卷积神经网络笔记——第五章:(2)基于PyG库构造自己的数据集&查阅其他GCN方法
上一小节: 链接.这一小节看基于PyG库构造自己的数据集和查阅其他GCN方法目录一、构造自己的数据集一、构造自己的数据集原创 2020-07-24 21:38:31 · 6190 阅读 · 16 评论 -
PyTorch实战:使用GRU实现名字分类问题
目录一、GRU介绍二、分类问题介绍三、PyTorch实现1、模型理解2、代码一、GRU介绍GRU(Gate Recurrent Unit)是循环神经网络(Recurrent Neural Network, RNN)的一种,和LSTM(Long-Short Term Memory)一样,也是为了解决长期记忆和反向传播中的梯度等问题而提出来的。我们在实验中选择GRU是因为它的实验效果与LSTM相似,但是更易于计算。网上很多都使用画图来说明,我感觉不是很好,被一大堆的 “门” 给搞乱了,实际上看着公式更好理原创 2020-07-22 11:17:59 · 9029 阅读 · 7 评论 -
将文件夹A中的图片移动到文件夹B,并重命名
图片存放的目录格式:A(原文件夹) a file b fileB file移动不改名import osimport shuti原创 2020-07-04 20:00:22 · 443 阅读 · 0 评论