S大幕-CSDN博客

在有些网络下使用 git push/pull 命令操作 github 代码时候，会出现类似 timeout 等超时问题，这时可以在终端利用 git config 命令挂上代理，具体命令如下：git config --global http.https://github.com.proxy socks5://127.0.0.1:******** 是当前代理的端口号，具体可以通过查看自己的代理来获得...

2022-05-05 18:03:30 2693

转载【转载】如何在BERT模型中添加自己的词汇教程（pytorch版）

原文地址：https://mp.weixin.qq.com/s/YyWWpmP6vNTrwk79ZklwuA如何在BERT模型中添加自己的词汇教程（pytorch版）点这里关注我→ AINLP 2022-03-18 19:10中文bert-base是以字为单位的，基本上已经涵盖了现代汉语所有的常用字。而且汉字是一个比较稳定的封闭集合，生活中不会随时造出新字来。新词倒是很常见，但是在中文BERT里直接就被tokenizer切成字了，因此一般没有多大的扩充词（字）表的需要。笔者在古汉语语料上调用古汉语B

2022-03-21 16:56:40 1368

原创【软件安装】浏览器直接访问服务器docker上 tensorboard

如标题，如果在服务器上安装了docker 并进行了相应训练，查看时，可以在 tensorboard 明星后面加上 --bind_all 参数，如下所示：tensorboard --logdir=$logdir --port=$port --bind_all

2022-03-16 15:54:23 1040

原创【软件安装】查看 docker 容器内部 ip

在宿主机执行命令：docker inspect [container name]然后在输出中找到 “IPAddress”: 对应的 ip 即为当前容器的 ip。

2022-02-14 19:15:41 1594

原创【软件安装】docker 安装 code-server

安装 docker，略过执行下面的安装脚本#!/bin/bash#mkdir .configdocker run -it --name code-server-shr -p 8023:8080 \ -v "vscode/.config:/home/coder/.config" \ -v "project/:/home/coder/project" \ -v "env/:/home/coder/env" \ # python 环境，根据自己需要添加 -u "$..

2021-12-21 17:57:14 4587

原创 github readme显示公式方法

用 codecogs 的外链只需要写有几个注意事项不要有多余的空格&回车（注意是多余）\要打2遍，因为转义

2021-10-11 11:44:55 850

转载【转载】conda install pytorch 安装缓慢的解决办法

使用 conda 直接安装 pytorch，发现在配置了清华镜像后下载 pytorch 还是非常慢。。。网上找到了这个方法，亲测可用。再次感谢原作者。重要的事情说三遍，转载自：conda install pytorch 安装缓慢的解决办法转载自：conda install pytorch 安装缓慢的解决办法转载自：conda install pytorch 安装缓慢的解决办法在国内镜像停止支持 conda 后，安装速度巨慢，尤其是安装 pytorch时，简直蛋痛。在折腾了一晚上后，摸索出

2021-09-16 18:58:55 2537

原创【软件安装】linux 安装anaconda不影响系统环境方法

下载相应 anaconda 版本，推荐使用清华镜像，地址为：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/?C=M&O=D选择 x86_64 位的版本bash Anaconda.sh 安装协议许可 yesconda 添加到 init? No一路安装完毕打开 vim ~/.bashrc，在最下面添加如下语句：alias damuconda="/user/damu/tools/anaconda3/bin/conda" 其中.

2021-09-16 09:57:26 405

原创 tornado 服务开启多线程

tornado 开启服务后，只进行单进程有时会比较慢，这是可以考虑同时开多个进程，tornado 是支持这样的操作的。利用 tornado 的 tornado.httpserver.HTTPServer 模块进行。这部分具体试下可以这样写：application = tornado.web.Application([ (r'/esupdate', MainHandler), #(r'/esupdate/',UpdateHander) ], debug=False)

2021-08-10 20:03:13 1921

原创【软件安装】vscode 配置 pyQT

配置前首先在自己的python 环境中安装 pyqt5pip install PyQt5pip install PyQt5-toolsvscode 安装插件在 vscode 中安装插件 pyqt integration配置插件按照如下进行配置即可：开心使用

2021-02-05 14:51:04 420

原创 keras 和 tensorflow 版本对应关系

https://docs.floydhub.com/guides/environments/

2020-12-09 10:20:58 2014

原创【软件安装】Docker pull 镜像时出现类似 TLS 错误

在拉取镜像时，由于国内网络的原因，可能会出现类似如下错误：docker: Error response from daemon: Get https://registry-1.docker.io/v2/: net/http: TLS handshake timeout.这是由于链接超时导致的，这里需要修改 docker 的配置文件，对于 windows 或 mac ，可以直接在 docker desktop 中的设置添加镜像即可，如下图：在上图中位置添加上阿里源的镜像： "registry-m

2020-09-29 17:14:46 4984

原创获取Pytorch中间某一层权重

import torchimport pandas as pdimport numpy as npimport torchvision.models as modelsresnet18 = models.resnet18(pretrained=True)parm={}for name,parameters in resnet18.named_parameters(): print(name,':',parameters.size()) parm[name]=parameter

2020-09-19 15:58:44 889

原创【软件安装】pytorch 出现 ‘torch.nn‘ has no attribute ‘MultiheadAttention‘ 错误解决方法

在使用新版本pytorch 执行老版本代码时，或使用 torchkeras 时，有事会出现如下错误：AttributeError: module 'torch.nn' has no attribute 'MultiheadAttention'解决方案：这是由于版本不匹配导致的，一个快速的解决方法是安装另一个包：pip install torch_multi_head_attentionfrom torch_multi_head_attention import MultiHeadAttentio

2020-09-18 15:50:04 5222 4

原创【软件安装】pytorch使用可视化工具 visdom 方法

在 pytorch 中使用 visdom 对可视化网络训练过程十分方便，这里简要介绍下安装方法pip install visdom在训练网络前，首先执行 python -m visdom.server 命令，执行后点进相应连接即可；如果是服务器，需要在本地进行端口配置，具体方法是在本地终端执行ssh -L 18097:127.0.0.1:8097 username@host ip，然后在本地浏览器中输入 127.0.0.1:18907即可访问，其中 8097 是服务器端的端口;在代码中 impor

2020-09-17 19:11:56 202

原创【软件安装】jupyter notebook的 kernel 设置

在 jupyter 中通过设置不同的 kernel，可以让我们选择不同的虚拟环境中的 python 来编译代码，具体方式如下：source activate 进入到自己的虚拟环境中，执行pip install ipykernel在当前虚拟环境中，执行以下语句：python -m ipykernel install --user --name damu--display-name "Damu(1.0)"其中第一个 py27 指的是当前虚拟环境的名字，最后的引号中内容是在 jupyter

2020-09-09 10:59:47 456

原创【软件安装】Window 下 vscode 搭建C++ 编译环境

安装 vscode安装 minGW在 minGW 下载管理器中选择 gdb, gcc,g++ 等相关内容新建 cpp 文件选择编译，类型选择 gcc，新建的 launch.json 文件中内容如下：{ // 使用 IntelliSense 了解相关属性。 // 悬停以查看现有属性的描述。 // 欲了解更多信息，请访问: https://go.microsoft.com/fwlink/?linkid=830387 "version": "0.2.0", .

2020-09-08 18:37:26 117

原创【图像检索】Product quantization for nearest neighbor search 阅读及理解

文章目录AbstractIntroductionBackground: Quantization, Product Quantizer*A. Vector quantization**B.Product quantizers*Searching with Quantization*A. Computing distance using quantized codes*symmetric dista...

2020-09-02 14:30:22 1515 1

原创 mac 远程查看服务器 tensorboard

在本地终端执行：ssh -L 16006:127.0.0.1:6006 user@hostname在服务器上执行：tensorboard –logdir=/data/serve_output/ —port=6006前提是服务器上 6006 端口未被占用

2020-07-24 18:14:17 805

原创 opencv-python 获取 sift 特征值

# -*- coding: utf-8 -*-import cv2import numpy as npfrom matplotlib import pyplot as pltimg = cv2.imread("./img/person.jpg")img1 = img.copy()img1 = cv2.cvtColor(img1,cv2.COLOR_BGR2RGB)gray = cv2...

2019-12-16 20:46:06 538

原创【软件安装】mac 更新系统后 clion 软件提示 cmake 不可用解决方案

最近更新了 mac 系统，突然发现 clion 不能用了，下面是解决方案：安装Xcode（如果没有安装）；终端执行命令 xcode-select --install；执行后一直按住空格键，阅读相关文档，直到出现让输入 agree 为止；打开 clion，按顺序执行：Tools->CMake->Reset Cache and Reload CMake通常来讲，clion...

2019-11-14 08:28:50 4386 11

原创【Deep Learning】SKNet : Selective Kernel Networks 学习

1. SKNet 论文思维导图该思维导图使用 MindMaster 软件做出，源文件可以点击链接进行下载。2. Selective kernel 结构介绍本节主要介绍这篇论文的核心部分，即 Selective kernel 的相关内容上图给出的是 Selective Kernel Convolution 的示意图，可以看出，此结构主要由三个部分组成，即：Split：...

2019-04-18 16:32:39 3397 8

原创【机器学习】Fisher Kernels on Visual Vocabularies for Image Categorization 学习

在模式分类领域，结合了生成和判别模式的 Fisher kernel 方法是一个非常有效的框架。该策略是使用来自生成模型的梯度向量来表示信号，然后再将这种表示送入到判别模型的分类器中。论文中将该框架应用到图像分类领域，其中输入信号是图像，并将视觉词汇作为前在的生成模型——混合高斯模型，用来表示图像中底层特征的近似分布。Fisher kernel 可以看做是 Bag-of-visterms 的一种...

2019-04-17 18:57:20 1241

原创【Deep Learning】M2Det: A Single-Shot Object Detector based on Multi-Level Feature Pyramid Network解读

1. M2Det 论文思维导图该思维导图使用 MindMaster 软件做出，源文件可以点击链接进行下载。2. Abstract 在目标检测网络中应用特征金字塔结构在目标检测网络中已经成为一种趋势，如单阶段目标检测中的的 DSSD，RetinaNet，RefineDet，还有双阶段目标检测中的 Mask R-CNN, DetNet 等结构。通过应用特征金字塔，这些网络在解决目标多尺度...

2019-04-08 19:22:11 2457 2

原创【Deep Learning】Squeeze-and-Excitation Networks

Squeeze-and-Excitation Networks1. Abstract 卷积神经网络的核心组成是卷积操作，卷积操作使得网络能够通过在每层的局部感知域内融合空间和通道的方式来构建相应的特征。并且大量的研究已经研究了这种关系的空间组成部分，并尝试通过试图提高整个特征层中空间编码的质量来增强 CNN 的表征能力。收到这种思想的启发，本文主要工作是提出了一个新的架构单元，即**“Squ...

2019-04-07 19:15:10 1980

原创【软件安装】安装pip 出现类似 AttributeError: module 'pip.main' has no attribute '_main'错误问题

解决 Ubuntu 安装pip 出现类似 AttributeError: module ‘pip.main’ has no attribute ‘_main’ 错误问题最近在Ubuntu上使用conda新建虚拟环境，当虚拟环境建好以后，想要利用pip进行相应的package安装时，突然遇到了如下错误：AttributeError: module ‘pip.main’ has no att...

2019-03-25 16:51:08 1613

原创【Deep Learning】YOLOv3 An Incremental Improvement 原理

【Deep Learning】YOLOv3: An Incremental Improvement 原理今年 3 月分，yolo 的第三代，也就是 yolo_v3 发布了，由于今年找工作，最近才又好好的看了一遍，这里记录一下这篇论文的大概原理。1. 综述这篇论文主要内容是对上一代 yolo 的进一步升级与改进，提出了新的网络结构以及一些小的 tricks 来整体提升 yolo 的性...

2018-12-27 19:34:31 558

原创【Deep Learning】基于 Keras 的猫狗分类识别

基于 Keras 的猫狗分类识别本篇主要实现利用 Keras 来实现 Kaggle 的经典比赛 ——猫狗识别，目的是熟悉 Keras 的基本用法与使用环境，为后期利用 Keras 和 TensorFlow 实现更多的深度学习网络打下基础。本篇的主要参考来自DeepLearn ，并在这个实现基础上，增加了一些实现，如 Tensorboard 可视化训练过程，使用 matplotlib ...

2018-11-21 11:15:41 17841 24

原创【数据结构】剑指 Offer P200——八皇后问题的排列解法

书中 P200 给出了不同于以往利用回溯法解决八皇后问题的思路，但是没有给出代码，下面对这种算法进行实现。首先给出书中的解释：由于 8 个皇后的任意两个均不能处于同一行，所以每一个皇后占据一行。于是可以定义一个数组 ColumnIndex[8],数组中第 i 个数字表示位于第 i 行的皇后的列号。首先将数组 ColumnIndex 的 8 个数字分别用 0~7 进行初始化，然...

2018-04-23 23:44:22 385

原创【数据结构】剑指Offer——面试题48：最长不含重复字符的子字符串

总觉得书上这题讲的怪怪的，所以将自己的思路写下来。题目描述：请从字符串中找出一个最长的不包含重复数字的子字符串，计算该最长子字符串的长度。假设字符串中仅包含 ‘a’~’z’ 之间的字符。例如，在字符串 “arabcacfr” 中，最长的不包含重复字符的子字符串是 “rabc” 或 “acfr”，所以应当输出 4。分析：考虑使用动态规划法因为所有可能出现的字符...

2018-04-23 21:03:20 1054

原创【机器学习】模型评估与选择

内容大多来自统计学习方法——李航机器学习——周志华1. 统计学习三要素统计学习方法都是有模型、策略和算法构成的，也就是统计学习方法由三要素构成，可以简单地表示为：方法=模型+策略+算法方法=模型+策略+算法方法=模型+策略+算法构建一种统计学习方法就是确定具体的统计学习的三要素。1.1 模型统计学习首要考虑的问题是学习什么样的模型，在监督学习过程中...

2018-04-11 15:06:09 1565 2