python
祥瑞Coding
机器学习,计算机视觉
展开
-
使用PyCharm配置提升效率
PyCharm是常用的python集成编译器,如果使用得当,能非常高效的提升生产效率。因此本文重点探讨如何使用PyCharm提升生产效率。如何使用PyCharm关联服务器代码,实时同步? 如何使用服务器远程python解释器? 如何设置断点和在程序中间调试代码? 如何快速调整代码显示方便阅读?一、关联远程服务器1.1 使用场景场景:本地PC安装了PyCharm编译器,且代码编写在本地PC进行,但是代码或者环境需要在远程服务器上运行,因此本地写的代码必须同步到服务器上才能运行。..原创 2020-09-20 21:46:37 · 1314 阅读 · 0 评论 -
sympy求积分|微分|极限|解微分方程|解RLC震荡电路
运用python的sympy工具包,可以方便的对相应的方程进行求解。在上一篇文章中,我们用sympy解了复杂的非线性方程组、复数方程组、多元多次方程组,链接如下:python求解多元多次方程组或非线性方程组 ...原创 2020-03-26 16:50:42 · 3465 阅读 · 1 评论 -
python求解多元多次方程组或非线性方程组
背景:如何使用python求解多元多次方程组或者非线性方程组。原创内容,转载注明出处!(上篇用python拟合2019nCov感染人数的文章被不少博主转载了,发的比较早,不少博主在文章基础上添加新内容也新发了新的更新后的预测,或者加入一些新的模块。博文链接如下:)python实现logistic增长模型拟合2019-nCov确诊人数 python实现logistic增长模型拟合20...原创 2020-02-24 18:15:05 · 68804 阅读 · 8 评论 -
PyTorch项目应用实例(三)通用的图像分类模型实现图像分类(附代码与操作方法)
背景:需要从图像数据之中加载图像,然后根据标签训练。简单的直接将图片放入文件夹生成标签和训练数据,然后训练模型。实从图像到训练好的模型的转变。代码地址(可直接运行):github地址:https://github.com/Xingxiangrui/image_classification_with_pytorch也可直接copy 四中的代码。目录一、小样本量运行与调试1.1 数...原创 2019-05-10 16:25:55 · 9197 阅读 · 8 评论 -
docker安装及环境容器上传
背景:同学整理的简单的docker安装及使用。目录一、安装docker1.1. 检查系统1.2. 更新源并安装依赖1.3. 添加一个新的GPG密钥1.4. 运行下面的命令1.5. 更新APT包索引1.6. 校验APT是从一个正确的仓库拉取安装包1.7. Ubuntu Xenial 16.04[LTS]需要的前置操作1.8. 安装二、基本操作2.1 查...原创 2019-04-25 16:16:14 · 572 阅读 · 0 评论 -
sklearn谱聚类Spectral Clustering(一)运行:以coco标签为例
背景:我们需要对多标签的问题,标签进行谱聚类,然后看相应的聚类结果。官方API描述:https://scikit-learn.org/stable/modules/generated/sklearn.cluster.SpectralClustering.html#sklearn.cluster.SpectralClustering目录一、安装sklearn1.1 scikit-le...原创 2019-05-06 15:20:57 · 5083 阅读 · 2 评论 -
PyTorch项目应用实例(一)加载(本地|官方)预训练模型
背景:我们需要把模型上传集群运行,所以预训练的模型需要放在文件夹之内进行加载,把环境及配置拷入env之后,不能用文件夹之外的库。预训练的resnet101需要直接放入目录下加载。目录一、预训练模型的加载1.1 模型加载1.2 加载流程1.3 模型位置1.4 缺点1.5 找到预训练模型位置二、加载指定位置模型2.1 例子程序2.2 把网络模型放入目录下2....原创 2019-04-28 21:57:15 · 18634 阅读 · 7 评论 -
python项目应用实例(二)制作数据集相关: label更改与批量化图片处理
背景:制作数据集时,时常需要对图片进行重命名、格式转换、以及批量处理等等。python可以方便的实现这些操作。我们对这种程序进行汇总,以便以后查阅。先汇总程序,然后汇总各种模块化的功能如何实现。博主代码地址:https://github.com/Xingxiangrui/Batch_data_preprocess目录一、字符串相关1.1 ground truth格式转换1.2 ...原创 2019-05-07 09:59:30 · 1787 阅读 · 0 评论 -
macOS上运行python及配置相应环境
背景:我们希望在macOS上完成一些初级的数据处理及增扩,例如图像旋转,名称更改及写入文件夹等等这些基本操作。这些操作交互性交强,且需要看到实时的结果,没必要放在服务器上使流程更加复杂。因此直接运用macOS运行即可。本文在于实现简单的数据增扩,还没有用到anaconda管理环境,如果需要用到anaconda管理环境的话,可以参考这篇:macOS上PyCharm配置Anaconda环境 ...原创 2019-04-08 17:08:30 · 3619 阅读 · 0 评论 -
CycleGAN(四)inference过程与model定义
背景:我们需要搞懂cycleGAN如何对已有图片进行inference目录一、嵌套位置1.1 调用位置1.2 inference调用的函数二、前馈运算2.1 forward2.2 实验结果及解释三、模型3.1 模型定义3.2 定义loss3.3 模型结构一、嵌套位置1.1 调用位置test.py之中,很容易看到调用inference的部分...原创 2019-04-01 15:06:01 · 3825 阅读 · 3 评论 -
PyTorch项目应用实例(五)加载模型验证并将所有结果写入文件
背景:我们训练好的模型,validate只显示相应的validate的结果。我们需要深入代码底层,看到模型数据集上的表现并且打印出相应的数据集结果。目录一、加载并验证模型1.1 加载模型1.2 核心语句更改1.3 创建新的文件二、直接validate2.1 learn基础上更改2.2 validate三、预测结果3.1 on_forward函数前馈运算3...原创 2019-05-15 09:56:34 · 5905 阅读 · 1 评论 -
多标签分类模型验证结果badcase查找与存储
背景:模型错误有标签True,判别负;标签负,判别正。因此需要将模型的True_negative与模型的False_positive的错误预测写为list,并且将相应的错误文件名找出。目录一、根据预测结果找出badcase1.1 写出模型预测结果1.2 根据结果算出指标1.3 加入错误样本矩阵二、每类的badcase2.1 根据标签创建list2.2 将相应的指引矩...原创 2019-05-16 10:40:55 · 4530 阅读 · 2 评论 -
python项目应用实例(四)用pandas将结果写入html表格之中
参考:https://blog.csdn.net/tz_zs/article/details/81137998官方API文档:http://pandas.pydata.org/pandas-docs/version/0.19.0/generated/pandas.DataFrame.to_html.html目录一、创建表格1.1 例程二、写出结果2.1 index2.2...原创 2019-05-16 13:29:33 · 4620 阅读 · 1 评论 -
python项目应用实例(五)生成图像heatmap|数据降维PCA|数据可视化|图像格式转换
背景:运行模型时,经常需要将相应的数据可视化。博主代码地址:https://github.com/Xingxiangrui/heatmap_and_feature_visualization目录一、网络结果存为np1.1 网络输出存储1.2 GPU张量转换1.3 流程二、heatmap输出2.1 misc函数2.2 生成heatmap2.3 sns.heat...原创 2019-05-22 20:07:49 · 3722 阅读 · 1 评论 -
macOS上用PyCharm本地配置Anaconda环境
目的:pycharm对本地文件的调试非常方便,可以直接看到相应的变量。因此如果调试程序很有必要在本地安装pycharm并且配置好anaconda的环境。如果仅仅实现简单的数据增扩之类的可以参考这篇:macOS上运行python及配置相应环境 目录一、安装anaconda1.1 下载anaconda1.2 安装1.3 激活conda二、安装pycharm三、PyC...原创 2019-05-18 20:08:27 · 4417 阅读 · 0 评论 -
c++与python基础编程算法汇总|数组|字符串|链表|递归
目录0、做题技巧总结0.1 c++0.2 python一、数组1.1 判断数组整数存在整数存在c++整数存在python1.2 旋转数组最小数字python旋转数组最小数字c++旋转数组最小数字1.3 调整数组顺序c++数组奇数位于偶数前1.4 数组中出现超过一半的数c++数组中出现超过一半的数1.5 数字在排序数组中出现的次数1.6...原创 2019-06-08 20:43:38 · 616 阅读 · 0 评论 -
python基础知识及应用(二)输入输出|递归|深浅拷贝|全局变量|复数
目录一、python输入输出二、迭代2.1 输入与输出2.2 解法三、拷贝3.1 拷贝实例3.2 对象的赋值3.3 浅拷贝3.4 深拷贝3.5 拷贝例如四、set4.1 题4.2 set五、复数5.1 复数的表示5.2 复数相关知识六、判断6.1 try与except6.2 except作用七、全局变量7.1 ...原创 2019-07-23 15:34:35 · 496 阅读 · 0 评论 -
python基础知识及应用(三)垃圾回收|迭代器与生成器| lambda表达式|多线程| zip | del
python的垃圾回收是什么 ? python的迭代器是什么? python 的return与yeild的区别? python的全局变量调用顺序? python的lambda表达式是什么?怎么写? python的多线程与多进程是怎么回事?目录一、垃圾回收1.1 垃圾回收1.2 整数对象池及intern1.3 引用计数二、python迭代器与生成器2.1 迭代器...原创 2019-09-14 15:27:29 · 428 阅读 · 0 评论 -
windows上配置pycharm与python环境并运行
目的:需要在本地计算机运行调试python,所以安装python并用pycharm运行。之前在macOS上运行过anaconda以及pyCharm运行过此过程。macOS上运行python及配置相应环境 macOS上用PyCharm本地配置Anaconda环境 目录一、python安装1.1 下载python1.2 安装1.3 运行1.4 添加环境变量二、安...原创 2019-09-14 11:42:04 · 5351 阅读 · 0 评论 -
CycleGAN(六)模型结构更改
目的:更改模型结构用于我们的实验,增加为两个判别器。参考:后面链接为作者给的更改模型的模板,我们需要在cycle_gan.py的基础上进行更改。https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix/blob/master/models/template_model.py更改后代码已经共享到github:https://github....原创 2019-04-02 14:39:44 · 8438 阅读 · 1 评论 -
运用Anaconda对python 3.6与tensorflow-gpu与pip环境配置
背景:代码是python3版本编写,则运用python2.7运行会报错,运用python3版本运行又显示没有安装tensorflow。所以运用python3版配置与安装tensorflow。目的:运用anaconda来进行python3.6安装与配置tensorflow目录一、问题描述二、旧版本解决方法(无用可不看)2.1 安装python32.2 升级旧pip2.3 ...原创 2019-02-20 18:59:14 · 4085 阅读 · 1 评论 -
Ubuntu14.04安装Anaconda3-2018.12-x86_64
背景:anaconda这是一个非常齐全的python发行版本,非常利于管理各种python包及相应的库版本。目的:在ubuntu14.04版本的linux服务器上安装anaconda目录一、版本查看1.1 ubuntu版本查看1.2 服务器版本查看二、下载与安装Anaconda三、环境变量添加与配置3.1 添加python到环境变量中3.2 生效环境变量3...原创 2019-02-20 17:28:55 · 3943 阅读 · 1 评论 -
NVlabs/noise2noise代码(三)网络训练代码解析
目的:看懂网络训练代码,方便后续更改。目录一、更改迭代次数1.1定义位置train_config初始化位置EasyDict定义位置1.2 更改迭代次数的方法二、网络结构2.1 原始网络结构与代码解析2.2 训练时autoencoder的调用三、训练函数嵌套关系3.1 config.py 到submit_run3.2 submit.py 中的run_w...原创 2019-03-07 20:41:05 · 5863 阅读 · 17 评论 -
Tensorflow相关知识(二)运用loss及gradients更新variables
背景:之前使用tensorflow的时候一直用下载好的模型的训练的代码,我们想要细化到模型内部,看看tensorflow到底如何执行模型训练的步骤。参考:http://wiki.jikexueyuan.com/project/tensorflow-zh/api_docs/python/train.htmlhttps://www.cnblogs.com/wuzhitj/p/6648641.h...原创 2019-03-01 10:44:50 · 2684 阅读 · 2 评论 -
NVlabs/noise2noise代码(二)训练集的更改
背景:为了更改运行通相应代码,需要先在小数据集上运行代码方便实现。目的:在小数据集上运行代码。目录一、生成训练集代码1.1 命令行与输入参数1.2 输入图像1.3 转换与存入1.4 输出相关信息二、一个版本原因的错误(已调通可不看)2.1 版本导致的报错2.2 解决方法三、生成训练集3.1 训练集与测试集的更改3.2 命令行3.3 valid...原创 2019-02-21 15:47:09 · 3614 阅读 · 13 评论 -
目标检测网络指标mAP的测试的python实现
背景:实现相应的目标检测网络需要能够测试mAP目的:实现mAP的测试。参考代码:https://github.com/Cartucho/mAP#create-the-ground-truth-files目录一、mAP概览1.1 mAP概览1.2 测试需要的步骤二、GroundTruth文档的生成三、网络预测结果生成四、预测mAP代码4.1 运算IoU4....原创 2019-01-17 10:46:16 · 4362 阅读 · 16 评论 -
Tensorflow相关知识(一)MTCNN代码相关
以MTCNN为例,顺便学习下TensorFlow的底层用法。目录一、tf.device()二、tf.Graph().as_default()2.1 tf.Graph2.2 tf.Graph().as_default()2.3 MTCNN之中as_default()三、tf.layers()四、tf.ConfigProto指定显卡相关自动选择运行设备 : tf.C...原创 2018-10-17 20:28:51 · 774 阅读 · 0 评论 -
MTCNN(四)人头检测数据集参数调整
调参情况目录一、原始结构上的参数调整1. ROI与黑白框2. minsize face to detectscale stride二、新网络结构的参数调整2.1 minsize的调整2.2 scale stride三、新结构3.1 关于nms的阈值。 一、原始结构上的参数调整1. ROI与黑白框 ROI ...原创 2018-10-10 08:33:09 · 7209 阅读 · 2 评论 -
python基础知识及应用(一)常见运算|维度|基本元素|基本语法|函数|下划线
内容:这些语法均为python中经常出现,务必弄懂的语法,且非常基础。目录一、单星号与双星号(*与**)1.1 任意多参数1.2 字典1.3 动态参数实际例二、if __name__ == "__main__":三、python三种括号() [] {}3.1 ()元组3.2 [] list3.3 花括号{}dict四、函数后->五、pytho...原创 2019-03-04 14:53:18 · 392 阅读 · 1 评论 -
在CentOS 6.3上配置PyTorch与gcc
CentOS 6.3服务器上配置PyTorch与gcc目录一、版本查看1.1 CentOS版本查看1.2 CUDA版本查看CUDA驱动版本CUDNN1.3 python版本二、下载镜像2.1 环境下载2.2 解压环境2.3 安装第三方包三、安装成功3.1 如上流程3.2 安装成功四、安装gcc4.1 安装Jumbo4.2 用Jum...原创 2019-09-01 20:03:12 · 4956 阅读 · 2 评论 -
CycleGAN(三)代码概览
目的:大致看懂cycleGAN代码结构参考:https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix/blob/master/docs/overview.md目录一、概览train.pytest.pydata文件夹models文件夹options文件夹util文件夹二、train.py三、test.p...原创 2019-03-26 20:47:17 · 4643 阅读 · 0 评论 -
CentOS 6.3安装Anaconda并配置PyTorch与CUDA
背景:我们需要安装anaconda方便管理python环境及工具包。参考:centOS与Ubuntu较为类似,之前做过ubuntu上conda的安装,可参考这几篇略微更改如法炮制。此文方法为最简单方法,即通过yml文件直接安装并配置相应的环境,亲测有效。Ubuntu14.04安装Anaconda3-2018.12-x86_64 运用Anaconda对python 3.6与tensorf...原创 2019-09-01 20:08:49 · 3204 阅读 · 0 评论 -
pix2pix(一)制作样本对并进行训练与测试
目的:我们通过cycleGAN生成了一些样本对,挑选出较好的样本对,想要在pix2pix上进行实验。参考:https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix/blob/master/docs/datasets.md目录一、数据集创建方法1.1 A和B的描述1.2 文件夹与子文件夹1.3 命名规范1.4 创建数据...原创 2019-04-09 17:06:21 · 11364 阅读 · 15 评论 -
CycleGAN(五)loss解析及更改与实验
目的:弄懂loss的定义位置及何更改。目录一、论文中loss定义及含义1.1 论文中的loss1.2 adversarial loss1.3 cycle consistency loss1.4 总体loss1.5 idt loss二、代码中loss定义2.1 判别器D的loss2.2 生成器G的loss2.3 Idt loss2.4 定义位置汇总...原创 2019-04-01 11:25:05 · 30096 阅读 · 17 评论 -
CycleGAN(二)数据集重做与训练测试
目的:我们需要在我们的数据集上实现CycleGAN。参考:https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix/blob/master/docs/datasets.md目录一、数据集制作1.1 数据集格式1.2 我们的数据集二、训练1.1 命令行1.2 不显示结果二、训练命令行2.1 norText_...原创 2019-03-26 10:30:14 · 20040 阅读 · 47 评论 -
CycleGAN(一)概览与运行
背景:源码作者:junyanz/pytorch-CycleGAN-and-pix2pix源码地址:https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix参考:https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix目录一、下载1.1 下载1.2 安装好依赖项...原创 2019-03-22 16:27:43 · 6373 阅读 · 1 评论 -
MTCNN(三)基于python代码的网络结构更改
背景:MTCNN的训练是在python上实现的,我们需要对其结构进行更改。目的:读懂MTCNN的python代码。目录一、代码结构1.1 tensorflow设置与设备设置1.2 设置placeholder与out_tensor1.3 网络saver1.4 定义相应的网络fun1.5 用detect_face函数给出备选框二、placeholder与out_te...原创 2018-09-29 15:37:26 · 3345 阅读 · 7 评论