- 博客(37)
- 收藏
- 关注
RSS订阅转载 linux中快速合并多个文件内容到一个文件
在这里整理一个通过linux合并多个文件内容到一个文件的例子。最开始尝试用python完成，奈何速度太慢，且太占CPU，后来发现了这个简单直接的办法——利用linux的cat功能。
2022-10-13 14:36:01
10610
1
原创 剑指offer——链表（python）
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言本博客对剑指offer中的链表类型的题目进行总结和整理，并分析各类题目中容易出错的点和容易遗忘的边界条件等。一、pandas是什么？示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。二、使用步骤1.引入库代码如下（示例）：import numpy as npimport pandas as pdimpor
2021-09-06 02:18:36
375
原创 剑指offer-二叉树（python）
剑指offer-二叉树（python）二叉树部分1. 重建二叉树2. 树的子结构二叉树的镜像从上往下打印二叉树二叉搜索树的后序遍历序列二叉树中和为某一值的路径二叉树的深度平衡二叉树二叉树的下一个结点对称的二叉树按之字形顺序打印二叉树把二叉树打印成多行序列化二叉树二叉搜索树的第k个结点欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义
2021-05-06 18:06:34
309
2
原创 Anaconda安装及配置python虚拟环境
近期需要在多个场景下进行实验，而不同场景的测试脚本所需的环境配置不同，所以疲于在服务器上配置不同的环境。还因为这个成功地被mentor喷了个半死，在mentor的提示下才想起配置虚拟环境这回事（果然打基础的时候不能偷懒啊。。。。）于是对配置和使用进行了回顾和整理。网上的版本有很多，有的不全，有的感觉不太靠谱，整理了一下自己觉得挺方便的流程。（本文内容是对网上现有资源的整理和个人笔记，感谢大家的分享！）简介由于Python有2.x和３.x两个大的版本，而且每一个project建立所用的各种包.
2020-08-25 09:33:52
25274
转载 计算模型FLOPs和参数量（计算工具）
在pytorch环境下，有两个计算FLOPs和参数量的包thop和ptflops，结果基本是一致的。thop参考https://github.com/Lyken17/pytorch-OpCounter安装方法：pip install thop使用方法：from torchvision.models import resnet18from thop import profilemodel = resnet18()input = torch.randn(1, 3, 224, 224)
2020-08-08 16:31:11
3851
原创 DeepCache: Principled Cache for Mobile Deep Vision (MobiCom2018)
URL:https://dl.acm.org/doi/abs/10.1145/3241539.3241563TL;DRMethodExperimentsThoughts
2020-06-26 23:05:27
684
原创 Pytorch踩坑记录——model.eval()
最近在写代码时遇到一个问题，原本训练好的模型，加载进来进行inference准确率直接掉了5个点，尼玛，这简直不能忍啊～本小白下意识地感知到我肯定又在哪里写了bug了～～～于是开始到处排查，从model load到data loader，最终在一个被我封装好的module的犄角旮旯里找到了问题，于是顺便就在这里总结一下，避免以后再犯。 对于训练好的模型加载进来准确率和原先的不符，无外乎有两方面的原因：1）data； 2）model.state_dict() 。1） data...
2020-05-15 23:12:00
12021
9
原创 Pytorch多卡训练踩坑记录——inputs on different devices
pytorch中设置多卡训练时，操作比较简便，只要定义了模型，然后加上如下一行指令就可以。model = nn.DataParallel(model).cuda()但是，在pytorch中进行多卡训练还是会遇到一些其他的问题。执行的上述指令后，pytorch会自动在每块卡上都复制一份模型，同时将input batch size等分。比如设置了8张GPU训练，那么每块卡上的batch si...
2019-10-08 21:44:39
2418
原创 【Pytorch】利用预训练模型初始化backbone时的常见问题及方案
在训练模型时，我们常常需要利用预训练的baseline模型对所设计网络的backbone或部分layer进行初始化，给网络训练提供一个较好的起点，同时减少训练的时间成本。比较常见的就是利用imagenet上训练好的标准网络来初始化新网络的部分层。在进行初始化时，往往会出现两种情况：一种是待初始化的层键值和预训练模型是匹配的；一种是二者键值不匹配，在键值名称上有少许差异。针对这两种情况，处理...
2019-09-19 17:35:34
4506
转载 损失函数 - Cross Entropy Loss(交叉熵损失函数)
今天看到一篇写的不错的关于交叉熵损失的讲解，感觉算法的各个步骤讲的很详细清晰，遂在博客中记录一下。交叉熵损失函数经常用于分类问题中，特别是在神经网络做分类问题时，也经常使用交叉熵作为损失函数，此外，由于交叉熵涉及到计算每个类别的概率，所以交叉熵几乎每次都和sigmoid(或softmax)函数一起出现。我们用神经网络最后一层输出的情况，来看一眼整个模型预测、获得损失和学习的流程：神经网...
2019-08-27 15:34:38
1699
转载 PyTorch中使用预训练的模型初始化网络的一部分参数(增减网络层，修改某层参数等) 固定参数
详细内容参见博客链接：https://blog.csdn.net/TTdreamloong/article/details/84823705
2019-08-24 16:25:00
1323
转载 Python列表中append函数和extend函数的区别
近期在写dataloader函数时，由于错用了extend和append，导致后面出现了bug。后面发现问题后，便将该问题记录下来防止重复出错。两个函数从功能上来看非常类似，但处理后的结果却完全不同，使用时需要特别注意。 尤其是对多个的list进行合并时，append可以保持list的原始形式，extend则进行了拆分重组，将待添加的序列拆分成多个值来扩充到list中。详细内容参加博客：...
2019-08-22 15:31:20
400
原创 A Main/Subsidiary Network Framework for Simplifying Binary Neural Networks_CVPR19
URL:http://openaccess.thecvf.com/content_CVPR_2019/html/Xu_A_MainSubsidiary_Network_Framework_for_Simplifying_Binary_Neural_Networks_CVPR_2019_paper.htmlTL;DR这篇论文提出了一种对二值化网络进行修剪的剪枝方法，将量化和剪枝这两个模型压...
2019-07-08 00:40:07
313
原创 Filter Pruning via Geometric Median for Deep Convolutional Neural Networks Acceleration_CVPR19
CVPR2019 oralURL:http://openaccess.thecvf.com/content_CVPR_2019/html/He_Filter_Pruning_via_Geometric_Median_for_Deep_Convolutional_Neural_Networks_CVPR_2019_paper.htmlTL;DR这篇文章提出了一种基于几何中位数的卷积核修...
2019-07-08 00:37:38
1144
1
原创 RePr: Improved Training of Convolutional Filters_CVPR2019
URL:https://arxiv.org/abs/1811.07275TL;DR卷积产生的特征中存在不必要的重叠导致网络冗余，因此现有的模型修剪方法可以修剪掉大量的卷积滤波器而几乎不影响模型的准确率。因此，作者认为这是传统训练方法不够完善导致的，于是提出了一种新的模型训练方法。Method这篇论文的两个贡献：1）作者提出一种新的训练流程：首先经过一定数量迭代的标准训练...
2019-05-30 21:12:07
501
原创 Rethinking the Value of Network Pruning_ICLR2019
近期本小白在公司实习，组内有写paper reading的优良传统，一来自己总结，二来便于大家交流。感觉这个习惯非常好，于是乎想了想干脆同步发到自己博客上来，便于以后自己整理。URL:https://arxiv.org/abs/1810.05270code：https://github.com/Eric-mingjie/rethinking-network-pruningTL;...
2019-05-26 23:04:47
952
原创 Linux中常用的文件复制、移动、重命名命令
1. 文件复制：cp命令，即copy 该命令的功能是将给出的文件或目录拷贝到另一文件或目录中 语法：cp [选项] 源文件或目录 目标文件或目录 常用选项： - a 该选项通常在拷贝目录时使用。它保留链接、文件属性，并递归地拷贝目录，其作用等于dpR选项的组合。 - d 拷贝时保留链接。 - f 删除已经存在的目标文件而不提...
2019-05-09 02:01:11
14361
原创 为Python添加模块搜索路径
我们平时在用python写一些脚本作为工具时，经常需要在其他脚本中加载该工具。脚本工具和加载该工具的代码可能在同一文件夹下，这种情况比较简单，直接import即可。但有时二者并不在同一文件夹，甚至存放路径上没有任何的重叠，这时要想在执行脚本中加载自己所写的工具脚本，就需要将该工具型python脚本添加到默认模块搜索路径中。总的来说，添加模块搜索路径，总共有以下三种方式：方法一: 函...
2019-05-09 01:16:51
7836
3
原创 Tmux安装与使用
一、Tmux安装sudo apt-get install tmux若已经安装有Tmux，想更新成最新版本：sudo apt-get install -y tmux二、Tmux环境变量配置完成安装以后，可以进行环境变量的配置。vim ~/.tmux.conf #使用vim打开 ~/.tmux.conf使用vim打开 ~/.tmux.conf 后，添加如下代码并保...
2019-05-09 00:33:53
7100
1
原创 Git分支管理——学习笔记整理
1. Git分支管理常用命令：查看分支：git branch创建分支：git branch <name>切换分支：git checkout <name>创建+切换分支：git checkout -b <name>合并某分支到当前分支：git merge <name>删除分支：git branch -d <name>...
2019-04-16 13:55:16
490
原创 解决git创建版本库时报错 unable to auto-detect email address 与 fatal: This operation must be run in a work tree
昨天学习利用git配置版本库时，配置好的git，要commit一些修改，就遇到了这个问题。首先新建了一个名为learngit的空版本库，然后在learngit目录下新建了一个readme.txt文件，内容如下：Git is a version control system.Git is free software.此处的readme.txt放到learngit目录下（子目录也行）...
2019-04-13 16:58:33
1586
原创 解决ubuntu系统主用户密码丢失问题
近期实验室服务器上主用户密码因故丢失，因担心是被人恶搞或恶意更改密码，遂开始了一顿“猛如虎”的操作。中间走了很多弯路，最终发现简单两步操作就可以搞定。方法一：若部分用户拥有sudo权限，则可以直接运行以下命令进行解决sudo su root#输入当前用户的密码passwd XXX # XXX为所要修改用户的用户名输入密码：再次输入密码:搞定！方法二：若其他用户无...
2019-03-26 23:07:39
673
原创 统计学习笔记：感知机
感知机是二分类的线性分类模型，1957年由Rosenblatt提出，是神经网络与支持向量机的基础。总的来说，其具有以下特性：1）输入为实例的特征向量，输出为实例的类别，取+1和-1；2）感知机对应于输入空间中将实例划分为正负两类的分离超平面，属于判别模型；3）导入基于误分类的损失函数，并利用梯度下降法对损失函数进行极小化；4）感知机学习算法具有简单而易于实现的优点，分为原始...
2019-03-26 22:34:37
284
原创 Python编程之Dict（词典）
4.1 Dict类型（字典）1. Dict介绍及其创建方法要根据名字找到对应的成绩，用两个 list 表示就不方便。如果把名字和分数关联起来，组成下面类似的查找表，给定一个名字，就可以直接查到分数。'Adam' ==> 95'Lisa' ==> 85'Bart' ==> 59Python的 dict 就是专门干这件事的。用dict表示“名字”-“成绩”的...
2019-01-10 23:23:23
1212
1
转载 Linux 中强大且常用命令：find、grep
来源：吴秦（Tyler） 链接：cnblogs.com/skynet/archive/2010/12/25/1916873.html在linux下面工作，有些命令能够大大提高效率。本文就向大家介绍find、grep命令，他哥俩可以算是必会的linux命令，我几乎每天都要用到他们。本文结构如下：find命令find命令的一般形式 find命令的常用选项及实例 find与xargs...
2019-01-10 11:55:46
250
转载 向量的2范数求导？
， A: ， 即 A(x)=b， b ， 是求A(x)-b的2范数。问题：对 求一阶导 . 解答过程如下： 原式等于 对x求导得： 这里主要用到的是向量和矩阵的求导公式。分别为 和 此外还有向量2范数的定义式。 Reference：[1] https://www.zhihu.com/ques...
2019-01-06 22:30:22
41406
8
转载 统计学习笔记：分类、标注、回归问题的定义与区别
近期在学习李航老师著作的《统计学习方法》，根据书中所述内容，同时综合了网上总结的较好的知乎和博客，对分类、标注、回归三类问题的定义与区别进行整理，同时对三类问题的区别进行总结，尤其是分类问题与回归问题的区别。1.分类问题分类问题是监督学习的一个核心问题。在监督学习中，当输出变量取有限个离散值时，预测问题便成为分类问题。监督学习从数据中学习一个分类决策函数或分类模型，称为分类器（c...
2018-12-26 22:52:53
2845
1
原创 学习笔记：如何理解神经网络中超参数learning rate、weight decay、momentum、Batch normalization、Learning Rate Decay及其各自的作用？
一、learning rate（学习率）学习率决定了权值更新的速度，设置得太大会使结果超过最优值，太小会使下降速度过慢。仅靠人为干预调整参数需要不断修改学习率，因此后面4种参数都是基于自适应的思路提出的解决方案。后面4种参数分别为：Weight Decay 权值衰减，Momentum 动量、Batch Normalization 和 Learning Rate Decay 学习率衰减。以下...
2018-12-24 18:05:46
3035
原创 解决window系统卸载ubuntu双系统删除分区后变为“未分配”（灰色）问题
大家都有过装双系统的经历，作为IT行业渣硕菜鸡一枚，之前也遇到过装win7+ubuntu14.04双系统，然后ubuntu系统不想用了，卸载完之后删除分区，导致一些盘“删除卷”之后变成未分配分区（灰色），无法继续装新的系统。这种情况的原因是该分区为主分区，删除后会变为未分配，只有逻辑分区删除后才会显示为可用分区。因此i解决方案如下：1）将灰色未分配分区变成新建卷，如“H盘”；2）下...
2018-12-21 12:05:51
3202
1
转载 模型汇总24 - 深度学习中Attention Mechanism详细介绍：原理、分类及应用
Attention是一种用于提升基于RNN（LSTM或GRU）的Encoder + Decoder模型的效果的的机制（Mechanism），一般称为Attention Mechanism。Attention Mechanism目前非常流行，广泛应用于机器翻译、语音识别、图像标注（Image Caption）等很多领域，之所以它这么受欢迎，是因为Attention给模型赋予了区分辨别的能力...
2018-12-19 21:06:33
614
转载 Ubuntu14.04 更新Python版本后，Sublime Text 3 配置 python编译环境
Ubuntu14.04安装的Sublime Text 3 编译系统中只有python编译，并且是按照系统默认的Python路径编译。当系统更新Python版本并更新路径以后，原有的Python编译便会失效，所以此时需要在sublime中重新进行Python编译。话不多说，直接讲配置…1、打开sublime text 3,点击上部菜单栏Tools->Build System->new...
2018-05-28 21:56:21
534
原创 ubuntu14.04安装pytorch （CPU版）
本人近期在自己的电脑上安装了pytorch，遇到了一些小问题，导致Ubuntu系统崩了，最后只能重装。所以记下来自己遇到的一些坑，希望能让其他人避免这些问题。 本人之前是通过pip安装的，结果在使用过程中老是提示我有未安装的依赖库，查看了一下网上的教程，上面建议更新Ubuntu14.04自带的Python版本2.7.6至2.7.14. 我照着做了，于是悲剧就来了。 我...
2018-05-28 17:23:40
3846
原创 Ubuntu14.04安装谷歌浏览器
一、通过直接下载安装Google Chrome浏览器deb包。打开Ubuntu终端，以下为32位版本，使用下面的命令。wget https://dl.google.com/linux/direct/google-chrome-stable_current_i386.deb1以下为64位版本，使用下面的命令。[sql]wget https://dl.google.com/linux/direct/...
2018-05-28 15:19:58
867
转载 Ubuntu14.04 安装搜狗输入法及注意事项
难得搜狗输入法支持ubuntu，果断下载尝试一把。官网：http://pinyin.sogou.com/linux/官网教程：http://pinyin.sogou.com/linux/help.php按照教程上面的说法，对于ubuntu14.04的系统安装搜狗输入法是异常的简单。1. 下载deb包。2.双击文件即可安装。按照上面的流程走了一遍，提示安装成功。咦？！怎么不能用！！！还是原来系统自带...
2018-05-28 14:09:45
1584
转载 深度学习：CS231n官方笔记
作者：杜客链接：https://zhuanlan.zhihu.com/p/21930884来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。CS231n简介CS231n的全称是CS231n: Convolutional Neural Networks for Visual Recognition，即面向视觉识别的卷积神经网络。该课程是斯坦福大
2017-10-12 11:30:30
2279
原创 caffe上运行mnist实例---手写数字识别所遇到的问题及解决方案
caffe上运行mnist实例—手写数字识别所遇到的问题及解决方案本人深度学习小白，学习caffe的过程中按照denny402的博客mnist实例---手写数字识别进行编程学习。博客链接：http://www.cnblogs.com/denny402/p/5684431.html 在运行的过程中遇到如下两个错误。错误1：[libprotobuf ERROR google/protobuf/te
2017-10-07 16:58:50
639
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人