- 博客(42)
- 资源 (10)
- 收藏
- 关注
RSS订阅
原创 Ubuntu下服务器配置指南（系统安装+显卡驱动 + CUDA + CUDNN + Anaconda）以及各种坑与跳坑办法
整体结构问题说明与解决思路系统安装（Ubuntu）（1）制作U盘引导系统（2）安装系统显卡驱动安装（以 GTX1080TI 为例）下载安装CUDA、CUDNN的安装Anaconda的安装Pytorch的安装把电脑配置成服务器，远程访问问题说明与解决思路Ubuntu下，重启电脑时，经常发生显卡驱动丢失。原因猜测：可能是执行apt-get update命令时，导致Ubuntu内核自动更新，进而导致显卡驱动丢失。遇到这种情况，可以删除新的Ubuntu内核，使得系统自动将为老内核，自然显卡驱动也会回来。如
2020-08-29 15:47:26
348
原创 深度学习自用学习指南【一、入门】
深度学习自用学习指南20210703入门篇入门主要包括了解深度学习的基本概念，基本知识，掌握深度学习解决问题的基本思路，以及思考深度学习工具的常用应用领域和潜在应用领域，一般而言，在入门阶段可以掌握以下知识。1、基础理论，前向传播、反向传播、激活函数、损失函数、梯度下降等基本理论，以及深度学习常见的性能指标；2、常见模型，包括多层感知机、卷积神经网络、循环神经网络、生成对抗网络的基本理论、基本思想、以及模型结构；3、熟悉一种深度学习架构，如Pytorch、Tensorflow；4、配置开发环境，
2021-07-03 11:11:47
303
原创 Pytorch同时迭代两个数据集
from __future__ import print_function, division, absolute_importimport argparseimport osimport shutilimport timeimport torchimport torch.nn as nnimport torch.nn.parallelimport torch.backends.cudnn as cudnnimport torch.optimimport torch.utils.dat
2021-03-19 16:46:29
1682
1
原创 伪彩色图生成 深度图（视差图）的伪彩色化（python-opencv）
import cv2import os.pathimport globimport numpy as npfrom PIL import Image def convertPNG(pngfile,outdir): # READ THE DEPTH im_depth = cv2.imread(pngfile) #apply colormap on deoth image(image must be converted to 8-bit per pixel first)
2021-01-24 10:14:07
2357
原创 Docker的基本使用方法
1、进入已有的Docker容器sudo docker exec -it xxx（这里是已有的容器名字） bash2、查看所有容器docker ps -a3、复制文件到Docker容器，或者从Docker容器复制出文件docker cp 本地路径 容器长ID:容器路径例如：...
2020-11-26 09:21:39
133
原创 conda的使用
conda的使用CONDA基本操作conda环境的创建、激活与删除CONDA基本操作这篇文章学习conda的基本语法和基本使用conda环境的创建、激活与删除创建conda 环境 w1conda create -n w1 python=3.6激活conda环境#Linuxsource activate w1#Windowsactivate w1查看当前存在哪些虚拟环境conda env list 或 conda info -e删除conda环境 w1conda remov
2020-11-16 09:42:11
157
原创 【数字图像处理】python-opencv实现同态滤波
# Homomorphic filter classclass HomomorphicFilter: """Homomorphic filter implemented with diferents filters and an option to an external filter. High-frequency filters implemented: butterworth gaussian Attributes:
2020-09-02 17:27:23
2131
原创 【数据集】多模态数据集（1）
多模态数据集汇总1、MAHNOB-Mimicry1.1 简介1.2 下载1.3 使用过该数据集的文献[1] N. Rakicevic, O. Rudovic, S. Petridis and M. Pantic, “Multi-modal Neural Conditional Ordinal Random Fields for agreement level estimation,” 2016 23rd International Conference on Pattern Recognition
2020-08-16 15:59:52
5657
1
原创 【1】关于如何在C++中调用Python脚本，并在python中对话框选中文件传输问题
0 需求需求：在C++写的Qt界面中，调用Python程序实现图像信息统计，但是需要手动对话框选择文件，并传输路径。1 整体思路（1）、第一种方法是在Qt中调用对话框选择图片（QFileDialog::getOpenFileName），然后将路径做为参数传输至（QProcess::execute）。（2）、第二种方法是在Python中调用对话框选择图片的函数，获取路径字符串，在进行后续统计。2、先上结论（亲测好用）最终选用第二种方法，用tkinter调用GUI获取图片路径，然后再调用opencv
2020-08-05 15:35:52
270
原创 【设备介绍0】相机：KS5A136
0 介绍此类文章记载所用过的硬件设备的性能、参数、图纸等，防止遗忘。1、KS5A136一款低照度相机，最大的特色就是在光线非常暗的场景下，也能实现很好的拍摄效果，当然，前提是要有光！！如果没有一点光源，再好的低照度相机也不行。还有就是手动调焦非常爱，很舒服。最大的缺点是像素只有500万。淘宝地址：小虎摄像头最大分辨率为2592*1944/30帧另外，相比于大分辨率相机，这个的发热不严重，还在长时间工作测试中。2、总体参数3、外壳和补光他家的外壳真的爱了爱了，省了我很多防尘、外壳设计
2020-08-04 16:22:11
381
原创 【数字图像处理思考】第三章图像的空域变换
思考1、假设你有两张同一建筑物的照片，这两张照片是不同的人在同一天站在同一地点上拍下的，时间相差4个小时，在这4个小时中，有人从该建筑物的某个窗口射击了三枪。负责调查的侦探不知道哪间办公室是事发房间，而对胶片的肉眼视觉检查也无法表明在这段时间内有哪扇窗户被打开或关上，你能帮助他吗？首先要处理的问题是亮度问题，因为拍摄时间不一致导致的亮度差异可以使用灰度均衡来处理，然后进行图像相减，观察图像差异，确定哪个窗户发生了变化。2、图像旋转问题带入公式：...
2020-08-04 10:42:12
1110
1
原创 【数字图像处理思考】第二章节基础知识（python-opencv）
思考1、当数据量为定值时，在什么时候将采样优先考虑？什么情况下将量化优先考虑？为什么？（1）、对于缓变的图像，应当更重视量化，采样可以一般重视。因为图像变化缓慢，采样精度不是很高也不会太影响精度。但是量化太低会容易出现假轮廓。（2）、对于变化比较剧烈，细节程度比较高的图像，要优先考虑采样，因为采样不足会丢失细节、模糊，这样哪怕量化再好也无济于事了。2、在图像量化中，有非均匀量化技术。当灰度级低的时候用它比较有效。但是为什么在灰度级数高时几乎不用？非均匀量化的目的是为了减小量化误差，当本身灰度级数已
2020-07-27 18:23:54
861
原创 【论文写作】Word中插入Visio图或者Mathtype公式出现代码问题
0 前言在word写作中，有时会出现插入Visio、Mathtype后出现下图所示问题：1 解决方法点击 文件 选项把显示域代码而非阈值选项的对号去掉确定、然后结束。问题解决。
2020-07-19 13:53:36
2567
原创 【wxPython学习】1 安装与HelloWorld
0 前言不定期学习wxPython，随学随写，不定期更新，争取一周至少一更。wxPython是一个经典的，基于Python的GUI界面。1 安装pip install wxPython2 Hello World# First things, first. Import the wxPython package.import wx# Next, create an application object.app = wx.App()# Then a frame.frm = wx.Fr
2020-07-04 15:51:28
2414
原创 ImportError cannot import name axes from matplotlib 错误
0 前言1、之前matplotlib使用很正常，但是因为重复安装Matplotlib的不同版本，在导入matplotlib时出现上述问题。2、也可能在删除Origin时，误删文件所导致。1 解决方案在这个程序报错时，会给出一段路径C:\Users\...\...\...\Python\Python37\site-packages\Matplotlib把该路径下Matplotlib文件夹删除，然后重新安装即可。 pip install matplotlib2 错误原因应该是老版本Matplo
2020-06-22 17:48:00
3450
原创 【画图】Python绘制热力图方法以及保存不全问题（seaborn.heatmap）
0 前言鉴于Matlab画图已经被封，自此画图战线全部转移到Python上来，这篇博客描述了Python画热力图的方法以及我踩到的坑。1 程序1.1 导入包这里使用seaborn的heatmap函数绘制import matplotlib.pyplot as pltimport pandas as pdimport seaborn as sns1.2 载入CSV文件这里替换自己要画的矩阵，选择好index_col。及矩阵的每一行每一列是什么，要考虑好。df_2 = pd.read_csv
2020-06-21 15:25:38
14323
3
原创 阿里云服务器断开连接后程序在后台运行办法
0、前言因为阿里云服务器经常因为网络问题或者软件问题断开连接，导致训练过程中断，下次连接时，又要重新开始，非常伤，所以，找到以下解决办法。（Ubuntu）1、安装Screen工具sudo apt-get install screen2、创建Screen窗口screen -S [$Name]3、执行要执行的程序screen python a.py4、可以退出了ctrl+a 再按下d就可以了5、重新连接screen -r -d...
2020-06-01 08:13:09
3581
5
原创 阿里云快速配置方法
适用于Ubuntu系统的云服务器，快速配置Python3环境和Pytorch框架1、更新相关配置apt-get updata2、安装Anaconda下载对应版本Anaconda，并上传至云服务器与云服务器远程交互可用WinScpbash Anaconda.slh3、修改默认Python启动为Python3输入命令：sudo vim /etc/profile输入i，进入输入模式在最后一行输入export PATH=/home/guolu/anaconda2/bin:$PATH其
2020-05-26 08:17:24
185
原创 衡量神经网络的常见参数 FLOPs与参数数量计算方法总结
FLOPs衡量神将网络中前向传播的运算次数，FLOPs越小，则计算速度越快。参数数量衡量神经网络中所包含参数的数量，参数数量越小，模型体积越小，更容易部署，二者计算方法如下所示：参数数量更容易计算，只需要衡量，神经网络中有多少个待定参数即可，以卷积神经网络为例，假设卷积核大小为k × k，输入通道为 i，输出通道为o，输出图像尺寸为t ×t,则：每进行一次卷积操作，或一个卷积层，需要的参数数量为:k×k×i×o + o 后面的加是加上bias，可看下图conv1为例：注意 conv1的卷积核大小
2020-05-12 16:23:37
5697
原创 一些小Trick（pip清华镜像之类）随时补充
Pip使用清华镜像可以在使用pip的时候加参数-i https://pypi.tuna.tsinghua.edu.cn/simple例如：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy，这样就会从清华这边的镜像去安装numpy库。...
2020-04-14 16:50:52
166
原创 kaggle 竞赛：手写数字识别源代码与相关总结
前言第一次尝试Kaggle，是经典的手写数字识别的例子，其实这个MNIST数据集识别已经玩腻了，只不过这次是在Kaggle上，用他完成一整套的竞赛流程，为以后的大数据竞赛做好准备，其实，对我而言，这次的MNIST数据集识别与平时的工作只有两点不同，分别是在输入和输出方面。重点1、输入是CSV文件，如何构建Pytorch数据集形式2、输出是标签，如何转为CSV文件进行上传以上，接下来开始上...
2020-04-13 19:17:39
504
转载 摄像机模型的基础知识篇1（焦距、弥撒圆、视场角、景深）
焦点与光轴平行的光线射入凸透镜时，理想的镜头应该是所有的光线聚集在一点后，再以锥状的扩散开来，这个聚集所有光线的一点，就叫做焦点。弥撒圆在焦点前后，光线开始聚集和扩散，点的影像变成模糊的，形成一个扩大的圆，这个圆就叫做弥散圆。人的肉眼所感受到的影象与放大倍率、投影距离及观看距离有很大的关系，如果弥散圆的直径小于人眼的鉴别能力，在一定范围内实际影象产生的模糊是不能辨认的。这个不能辨认的弥散...
2020-04-10 21:02:22
1174
原创 回顾 The Unreasonable Effectiveness Of Data 一文，讨论数据在深度学习中的影响
这篇文章最早发布在2007年，由 Alon Halevy, Peter Norvig, and Fernando Pereira from Google published a paper entitled The Unreasonable Effectiveness of Data, 强调了在NLP中样本数据的作用。之后，a team at Google published a revisit...
2020-04-08 18:04:31
553
原创 读文献 Domain-Adaptive Few-Shot Learning 心得
这篇文章主要讲的是 域自适应小样本学习。当前主流的小样本学习有个关键的隐性假设是小样本的类与源类样本具有近似的样本空间。然而很多情况下，小样本问题的样本空间和源样本空间并不完全一致。所以提出了域自适应小样本学习。解决方案是在DAPN中嵌入领域自适应特征学习之前，显式地增强每类的源/目标分离，以减轻领域对齐对FSL的负面影响。大量实验表明，DAPN优于最先进的FSL和DA模型The go...
2020-04-08 13:10:54
1623
1
原创 文献 Large Scale Learning of General Visual Representations for Transfer 细节分析
Detailed AnalysisBig Models and Big Data普遍的共识是模型越大，效果越好（无论是在上游任务还是在下游任务中）。为了评估模型容量和上游训练集大小对性能的影响，这篇文章做了不同容量的ResNet模型分别在ILSVRC-2012, ImageNet-21k and JFT-300M上进行训练，并在下游数据集中评估。ResNet-50x1, ResNet-50...
2020-04-02 11:05:02
224
原创 读文献 Large Scale Learning of General Visual Representations for Transfer 阅读心得
摘要这篇文章扩大了预训练的规模，并提出一种简单易用的迁移学习算法叫做大迁移（BiT）。通过组合一系列仔细选择的组件，迁移时应用简单的启发式算法，在20个数据集上实现了非常好的识别效果。重点是在小数据集上，86.4%在ILSVRC-2012，这个数据集每个类只有25张图片；97.6%在CIFAR10（修改成每个类只有10张图片的形式）。Introduction要执行迁移学习，首先要在大型通用数...
2020-03-30 17:36:03
519
原创 《利用Python进行数据分析》学习笔记 Pandas基础
前言pandas以NumPy为核心，使用下面这样的pandas引入约定import pandas as pdfrom pandas import Series DataFramePandas的数据结构介绍Seriesobj = Series([4,-5,1,7])objobj.valuesobj.index默认分配索引为从0开始的整数，当然也可以手动赋予索引值。obj2 ...
2020-03-24 20:06:59
158
原创 《利用Python进行数据分析》学习笔记 NumPy基础：数组和矢量运算
前言Numpy在运算的基础上，提供了一种简单易用的C API，因此很容易将数据传递给由低级语言编写的外部库，外部库也能用NumPy数组的形式返回给Python，这个功能让Numpy成为一个动态的，易用的库。ndarry 一种多维数组对象ndarry是一个同构数据多维容器，所有的元素必须是相同类型的。每一个数组都有一个shape（一个表示各维度大小的元组）和一个dtype（一个用于说明数组数据...
2020-03-24 15:17:06
220
原创 阿里云服务器采坑指南（显存问题、环境配置问题、其他问题）
我有两个阿里云服务器，一个是自己的学生特惠买的，另一个是老师配的，自己的是基础版本，老师配的是高配版本，从价格上就可见一斑，我的是96一年，老师的是500+一月…显存问题有个问题，实验室的云服务器的CUDA10.1，那边预留了相当一部分显存给Pytorch，但是我自己装的Pytorch却调用不了这部分显存，导致显存不够，这块问题还没有解决。内存问题显存不够，那就用cpu放那里慢慢跑吧，但是...
2020-03-20 15:56:03
685
原创 数据集详解（待更新）
前言这篇博客记录下数据集的详细信息，具体数据集看我具体用到哪个，再查资料补充起来。一、MNISTMNIST 数据集来自美国国家标准与技术研究所, National Institute of Standards and Technology (NIST). 训练集 (training set) 由来自 250 个不同人手写的数字构成, 其中 50% 是高中学生, 50% 来自人口普查局 (th...
2020-03-18 11:32:18
1074
原创 量子机器学习应用与挑战
前景1、在线性算法方面，量子工具非常有效；量子工具可以加速线性的相关算法。2、距离度量方面，量子纠缠等效应可以有效的度量样本间的距离。3、在处理噪声方面可能有独特的优势。4、多目标方面。需要做的事情1、怎么把经典数据转为量子态；2、合适的量子工具，比如什么时候加速运行，什么时候减速运行；3、输出的量子信息怎么映射成我们需要的结果4、量子学习的硬件工具的解决问题量子态衡量样本间距...
2020-03-15 20:14:51
569
原创 关于样本采样的一些想法和代码
为了验证小样本的思想，先从数据量的更改出发，调整数据集的大小，验证数据量改变对性能改变到底有怎样的影响，这篇博客记录下调整数据量的方法。PyTorch中单独提供了一个sampler模块，用来对数据进行采样。常用的有随机采样器：RandomSampler，当dataloader的shuffle参数为True时，系统会自动调用这个采样器，实现打乱数据。默认的是采用SequentialSampler，...
2020-03-11 19:48:50
339
原创 深度学习常见数据集下载百度网盘链接（MNIST、Mini ImageNet、CelebA、CIFAR、Market-1501、omniglot）
我是个无情的数据集搬运工，欢迎收藏。MNIST链接：https://pan.baidu.com/s/1Ng5DSIUDQnRhgnqRLUI4_g提取码：1rqzMini ImageNet链接：https://pan.baidu.com/s/1k7ZYWCpJOj0E6VDGlDbK7g提取码：vbgqCelebA链接：https://pan.baidu.com/s/1emRQqn...
2020-03-11 19:41:00
6786
8
原创 简析CNN可视化方法——Grad-CAM
最近在应用中，发现Grad-CAM在验证神经网络知识表示有效性方面很好用，这篇文章总结以下该方法的原理以及实现代码。一、介绍卷积神经网络（CNN）和其他深度网络已经在多种计算机视觉任务中实现了前所未有的突破，从图像分类[24,16]到物体检测[15]，语义分割[27]，图像描述生成[43,6,12,21]，以及最近的视觉问答[3,14,32,36]。虽然这些深度神经网络能够实现卓越的性能，但由...
2020-03-03 16:45:20
4700
转载 CNN-Visualization 卷积神经网络训练可视化
CNN可视化https://github.com/scutan90/CNN-Visualization/blob/master/CNN可视化.mdhttps://github.com/utkuozbulak/pytorch-cnn-visualizations参考文献：胡秀. 基于卷积神经网络的图像特征可视化研究[D].对 CNN 模型的可解释性问题，也称之为深度可视化问题[35]。目前...
2020-03-02 10:43:16
1399
原创 读文献 THE HSIC BOTTLENECK: DEEP LEARNING WITHOUT BACK-PROPAGATION 阅读心得
题目：THE HSIC BOTTLENECK: DEEP LEARNING WITHOUT BACK-PROPAGATIONAbstract这篇文章介绍了深度学习训练中的HSIC瓶颈（希尔伯特-施密特独立准则）HSIC瓶颈是传统反向传播的一种替代方法，它有许多明显的优点。这种方法有利于并行处理，并且需要的操作要少得多。它不受爆炸或消失梯度的影响。它在生物学上比反向传播更合理，因为不需要对称反馈...
2020-02-27 15:40:49
1429
原创 读文献：A Simple Framework for Contrastive Learning of Visual Representations心得
摘要：为了了解什么使对比预测任务能够学习有用的表示，我们系统地研究了框架的主要组成部分。（1） 数据增强的组合在定义有效的预测任务方面起着关键作用；（2） 在表示和对比损失之间引入一个可学习的非线性变换，大大提高了学习表示的质量。（3） 与有监督学习相比，对比学习可以从更大的批量和更多的训练步骤中获益。通过结合这些发现，我们能够在ImageNet上大大优于以前的自监督和半监督学习方法。由...
2020-02-26 11:03:24
9264
2
原创 读文献 Automatic Pearl Classification Machine Based on a Multistream Convolutional Neural Network 阅读心得
Abstarct提出了一种新的多流卷积神经网络（MS-CNN）来处理这些多视图图像，每个图像流处理一个特定视角的图像，不同的图像流共享部分权值以融合高阶特征而不损失太多的多样性。此外，卷积核激活的可视化表明，MS-CNN模拟人工过程，确实可以识别相对复杂的特征。这些结果表明，我们的机器在珍珠行业具有潜在的价值。Inroduction人工分类珍珠时，需要同时考虑珍珠的多种特征，这在现实中是比...
2020-02-24 14:45:18
366
原创 文献 Multiview Generative Adversarial Network and Its Application in Pearl Classification阅读心得——2
这篇文章的主要工作1） 首先，我们提出MV-GAN作为一种新的深度学习框架来产生珍珠的多视图图像。特别是，这里我们将每个珍珠的多视图图像按上、左、右、主视图和稀有视图的顺序叠加到图像通道维度中，形成多视图输入数据。2） 其次，MV-GAN框架结合了DCGAN的网络结构和CGAN的标签训练方式。因此，鉴别器有四个卷积层，发生器有四个反卷积层。同时，珍珠标签被用来限制每一层的训练和生成图像的自由度...
2020-02-21 14:40:40
505
2
原创 论文 Multiview Generative Adversarial Network and Its Application in Pearl Classification 阅读心得——1
论文题目：多视角对抗生成网络以及在珍珠分类领域的应用——1摘要：提出了一种多视角对抗生成网络（MV-GAN）用于扩充训练数据，然后将扩充的数据应用于多流形卷积神经网络（MS-CNN），实验显显著降低了基本MSCNN的分类误差（相对而言，高达26.71%），更有趣的是，它还可以帮助MS-CNN抵抗亮度干扰，从而实现更稳健的分类。Introduction：作为一个具有挑战性的细粒度识别任务，一...
2020-02-21 01:50:06
493
NLP数据集movie_subtitles.txt
2020-03-19
JGJ+8-2016+建筑变形测量规范.pdf
2020-02-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人