2019年07月_LoveMIss-Y

原创 anaconda中关于conda命令的一些注意事项

前言：前面有文章专门讲解了conda的相关配置，请参考：conda安装和pip安装的国内镜像配置一、包管理功能（1）搜索包查看特定包conda search fastqc（2）安装包安装特定包（需要确认安装，可以看到conda已经将包依赖问题，环境问题已经解决）conda install fastqc（3）安装特定版本的软件包（查看软件版本可以使用conda...

2019-07-29 14:19:48 2834

转载 Git将本地项目上传到GitHub

一、安装Git以及注册GitHub账号1.1 安装git2、在github创建账号：https://github.com/准备工作完成后，接下来我们看看上传项目的步骤。二、本地仓库创建2.1【创建本地仓库】：我们需创建一个本地版本库（即本地的一个存放项目的文件夹）2.2【把本地仓库变成Git可管理的仓库——git init】：选中项目文件夹右键，选择Git Bas...

2019-07-25 18:01:21 788

原创（第三篇）pytorch数据预处理三剑客之——Dataset，DataLoader，Transform

前言：系列文章的前面两篇文章已经很明确的说明了如何使用DataSet类和DataLoader类，而且第二篇文章中详细介绍了DataLoader类中的几个重要的常用的参数，如sampler参数、collate_fn参数，但是在数据与处理的过程中，还会遇到数据增强、数据裁剪等各种操作，当然这些操作我们可以预先自己来实现，但是pytorch提供了强大的处理工具来对图像进行预处理，这也是本文的重点...

2019-07-25 10:33:11 16265 5

原创（第二篇）pytorch数据预处理三剑客之——Dataset，DataLoader，Transform

前言：前面的系列文章之第一篇已经基本上说明了DataSet类和DataLoader类的用法，但是鉴于DataLoader类中有一个参数collate_fn使用起来比较复杂，所以本次的第二篇文章还专门说一下这个函数的功能。第一篇文章请参考：（第一篇）pytorch数据预处理三剑客之——Dataset，DataLoader，Transformcollate_fn，中单词collate的...

2019-07-24 15:25:35 4013 4

原创（第一篇）pytorch数据预处理三剑客之——Dataset，DataLoader，Transform

前言：在深度学习中，数据的预处理是第一步，pytorch提供了非常规范的处理接口，本文将针对处理过程中的一些问题来进行说明，本文所针对的主要数据是图像数据集。本文的案例来源于车道线语义分割，采用的数据集是tusimple数据集，当然先需要将tusimple数据集写一个简单的脚本程序转换成指定的数据格式，如下：一、基本概述pytorch输入数据PipeLine一般遵循一个“三...

2019-07-24 14:31:27 11640 2

原创 pytorch 网络结构可视化方法汇总（三种实现方法详解）

前言：在深度学习的时候，能够很好的绘制出整个网络的模型图，这是非常方便的，当前流行的tensorflow和pytorch都有很多种方法可以绘制模型结构图，特在此总结如下：tensorflow的模型结构可视化方法：（1）使用自带的tensorboard（不直观）（2）使用netron工具打开（.pd 或者是.meta文件）（3）第三方库CNNGraph（https://g...

2019-07-23 18:03:09 68646 22

原创 pytorch中的.detach和.data深入详解

前言：这两个方法都可以用来从原有的计算图中分离出某一个tensor，有相似的地方，也有不同的地方，下面来比较性的看一看。PyTorch0.4以及之后的版本中，.data 仍保留，但建议使用 .detach()一、tensor.data的使用先直接看一段代码：import torcha = torch.tensor([1,2,3.], requires_grad = T...

2019-07-22 11:17:50 21849 7

原创 tensorflow Debugger教程（二）——tf.Print()与tf.print()函数

前言：tensorflow之前的版本由于是采用静态图，所以在调试的时候比较麻烦，前面一篇文章介绍了tensorflow自带的调试器，类似于python的pdb调试，本文专门讲两个函数，用来打印tensorflow中的变量，前一篇文章参考：tensorflow Debugger教程（一）——使用自带的tfdbg进行调试一、tensorflow查看tensor的传统做法比如下面的例子：...

2019-07-16 10:39:57 20556

原创 pytorch教程之nn.Module类详解——state_dict和parameters两个方法的差异性比较

前言：pytorch的模块Module类有很多的方法，前面的文章中已经介绍了四个常用的方法，这四个方法可以用于获取模块中所定义的对象（即每一个层）他们分别是children()、named_children()、modules()、named_modules()方法，本文介绍另外两个重要的方法，这两个方法会获取到模型中训练的参数（权值矩阵、偏置bias），这两个方法是model.state...

2019-07-14 17:05:47 17677 4

原创 pytorch的两个函数 .detach() .detach_() 的作用和区别

前言：当我们再训练网络的时候可能希望保持一部分的网络参数不变，只对其中一部分的参数进行调整；或者值训练部分分支网络，并不让其梯度对主网络的梯度造成影响，这时候我们就需要使用detach()函数来切断一些分支的反向传播一、tensor.detach()返回一个新的tensor，从当前计算图中分离下来的，但是仍指向原变量的存放位置,不同之处只是requires_grad为false，得...

2019-07-11 17:53:09 170482 22

原创 python进度条神器之tqdm包的使用

前言：在Python开发中，我们经常需要使用进度条来展示任务进行的进度到哪里了，特别是在机器学习与深度学习框架里面，tqdm包是一个非常简单但是功能强大的进度条处理工具，一起来看看它的一些基本用法吧！一、tqdm的安装与导入1.1 安装pip install tqdm1.2 导入from tqdm import tqdm后面的这个tqdm是一个类，前面的tqd...

2019-07-11 17:33:19 16323

原创 pytorch的自定义拓展之（二）——torch.autograd.Function完成自定义层

前言：前面的一篇文章中，已经很详细的说清楚了nn.Module、nn.functional、autograd.Function三者之间的联系和区别，虽然autograd.Function本质上是自定义函数的，但是由于神经网络、层、激活函数、损失函数本质上都是函数或者是多个函数的组合，所以使用autograd.Function依然可以达到定义层、激活函数、损失函数、甚至模型的目的，就像我们使...

2019-07-10 14:54:54 9329 2

原创 pytorch的自定义拓展之（一）——torch.nn.Module和torch.autograd.Function

前言：pytorch的灵活性体现在它可以任意拓展我们所需要的内容，前面讲过的自定义模型、自定义层、自定义激活函数、自定义损失函数都属于pytorch的拓展，这里有三个重要的概念需要事先明确。要实现自定义拓展，有两种方式，（1）方式一：通过继承torch.nn.Module类来实现拓展。这也是我们前面的例子中所用到的，它最大的特点是以下几点：包装torch普通函数和torch.nn...

2019-07-09 18:20:05 14747 9

原创 pytorch教程之损失函数详解——多种定义损失函数的方法

前言：前面的系列文章已经详细介绍了使用torch.nn.Module来实现自己定义的模型、自定义层，本文将继续来说明如何自定义损失函数，需要明确一个观点，不管是定义层还是损失函数，方法有很多，但是通过统一的接口nn.Module是最便于查看的，这也是pytorch的优点之一，模型、层、损失函数的定义具有统一性，都是通过Module类来完成，不像tensorflow那样不规范。具体可以参考前...

2019-07-09 13:43:46 36324 16

原创 tensorflow Debugger教程（一）——使用自带的tfdbg进行调试

前言：在tensorflow2.0之前，由于tensorflow采用的都是静态图机制，所以在调试起来的时候不像我们平时编写python程序那样便于查看，我们没有办法直接使用编辑器的调试功能，也没有办法使用python自带的pdb调试器，tensorflow自己提供了一套专门用于调试的工具。一、TensorFlow 调试器简介tfdbg是 TensorFlow 的专用调试程序。借助...

2019-07-05 17:55:41 8379 1

原创 python高级调试技巧（二）——原生态的pdb调试的细节补充

前言：我前面专门写过关于使用python原生调试器的文章，但是缺少一个实例来说明，本文将在之前的基础之上来继续说明python原生pdb里面的一些问题，一些最基础的东西这里就不再说明了，主要是对前面文章的补充。参见：https://mp.weixin.qq.com/s/59A7ycVa7BUUV4Onmum8Dg一、实例代码如下：# python_pdb.py 文件名im...

2019-07-05 15:27:33 2671 1

原创基于sklearn的聚类算法的聚类效果指标

前言：度量聚类算法的性能不是简单的统计错误的数量或计算监督分类算法中的 precision （准确率）和 recall （召回率）。聚类算法的评价指标有很多，本文主要是基于sklearn机器学习库，里面提供了一系列的度量函数，在这些度量函数里面，有的需要知道真实的样本类别，然后有的聚类本来就没有真实的样本类别，甚至像DBSCAN这样的聚类方法，连到底有几个类别都不确定，那怎么去评价聚类的好...

2019-07-02 16:12:32 49431 8

MIss-Y的博客