- 博客(305)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 matplotlib绘图(折线图，直方图，柱状图，饼图，散点图，三维，动图)
折线图#折线图，曲线图import numpy as npimport matplotlib.pyplot as pltx = np.linspace(-10, 10, 1000)# y = np.sin(x)#y = 2 * x * x * x + 3* x * x + 2*x +5y = np.sin(2*x)+2*np.cos(1/x)plt.figure()plt.pl...
2019-12-26 18:55:05
2902
原创 精通SQL的30张简图
1.SQL语言2.DBMS3.SQL是如何执行的4.DDL5.SELECT检索数据6.WHERE数据过滤7.SQL函数8.聚集函数&分组统计9.子查询10.SQL标准&连接表11.SQL99中如何使用连接12.视图13.存储过程14.事务处理15.事务的隔离级别16.游标17.使用Python操作MySQL18.S...
2019-11-26 20:35:56
9179
11
转载 接私活必备的 10 个开源项目！
1. AdminLTEGitHub Star 数 24969 ， GitHub 地址：https://github.com/almasaeed2010/AdminLTE非常流行的基于 Bootstrap 3.x 的免费的后台 UI 框架。2. vue-Element-AdminGitHub Star 数 19546， GitHub 地址：https://github.com/Pan...
2019-11-22 11:31:33
1068
原创 python生成动态链接二维码
在GitHub上发现了一个比较有意思的项目，只需要一行Python代码就可以快捷方便生成普通二维码、艺术二维码(黑白/彩色)和动态GIF二维码。GitHub网站参见：https://github.com/sylnsfar/qrcode用法比较简单，直接通过pip安装即可。pip install myqr安装完成如图所示模块如下：-v ：定义二维码的大小，范围为 1 ~ 40，默...
2019-11-20 16:08:12
1225
原创 spleeter分离伴奏和人声
近日，Deezer开源了一个名为Spleeter项目，该项目利用深度学习对音乐曲目进行源分离。它使用Keras和TensorFlow构建，Spleeter可以帮助音乐信息检索（MIR）领域的研究机构，充分利用最先进的源分离算法的强大功能，它以基于Tensorflow的Python库的形式出现，包含针对2、4和5个词干分隔的预训练模型。什么是源分离？音乐录音通常是几个单独乐器音轨的组合（主音，鼓...
2019-11-11 15:07:02
12461
17
原创 Markdown生成代码目录
用npm安装一个mddir包npm install mddir -g在需要生成代码目录的父级目录下输入mddir,即可得到一个叫做directoryList.md文件文件目录不放在第一行可能会有显示问题，把文件打开将里面的内容放到代码里即可|-- xxxxx |-- README.md |-- train.py |-- configs | |-- jjjj.json |-- img | |-- image.png |-- m.
2022-05-10 17:19:46
974
原创 optuna 自动化调参利器
Optuna是一个自动超参数优化软件框架，专为机器学习而设计。它具有命令式、 运行时定义的用户 API。Optuna的用户可以动态地构建超参数的搜索空间。optuna API使用optunaOptuna 与几乎所有可用的机器学习框架一起使用：TensorFlow、PyTorch、LightGBM、XGBoost、CatBoost、sklearn、FastAI 等。安装optuna pip install optuna每个 Optuna 超参数调整会话称为学习。我们通过调用create_stud
2022-02-17 15:53:58
9611
15
转载 python 照片更改尺寸
from PIL import Imageimport os.pathimport globdef convertjpg(jpgfile,outdir,width=150,height=200): img=Image.open(jpgfile) try: new_img = img.resize((width, height), Image.BILINEAR) if new_img.mode == 'P': new_img = n
2021-12-01 14:58:41
285
原创 Linux系统无法载入nvidia-smi驱动
首先查看自己当前的Linux系统内核：root@gpu:/opt# uname -r4.15.0-142-generic1.搜索linux内核系统root@gpu:/opt# dpkg --get-selections | grep linuxbinutils-x86-64-linux-gnu installconsole-setup-linux installlibselinux1:amd64 installlinux-base installlinux-fir
2021-11-08 10:51:25
772
原创 linux git ssh免密拉取 配置过程
git config --global user.name "*********"git config --global user.email "*********"ssh-keygen -t rsa会有三提示输入，第一次是生成的文件名字，第二次和第三次是输入密码，可以直接回车三次则不设置密码如果没有自定义名字则会在当前目录下生成id_rsa.pub(公钥)和id_rsa(私钥)文件cd ~/.sshvim id_rsa.pub 复制粘贴到项目...
2021-11-08 10:47:56
752
原创 git技能总结
一、新建代码库# 在当前目录新建一个 Git 代码库git init# 新建一个目录，将其初始化为 Git 代码库git init [project-name]# 下载一个项目和它的整个代码历史git clone [url]二、配置Git 的设置文件为.gitconfig，它可以在用户主目录下（全局配置），也可以在项目目录下（项目配置）。# 显示当前的 Git 配置git config --list# 编辑 Git 配置文件git config -e [--global]
2021-11-08 10:42:05
294
原创 git 常用操作
更新gitlabgit config http.sslVerify "false" git initgit statusgit add .##git commit -m "****"git commit -a -m "test_diag updata"git pull origin mastergit pull origin master --allow-unrelated-historiesgit push -u origin mastergit push origin master:
2021-11-08 10:26:40
142
翻译 Batch size对训练效果的影响
一般来说，在合理的范围之内，越大的 batch size 使下降方向越准确，震荡越小；batch size 如果过大，则可能会出现局部最优的情况。小的 bath size 引入的随机性更大，难以达到收敛，极少数情况下可能会效果变好。Don’t decay the learning rate increase the batch sizeTrain longer, generalize better: closing the generalization gap in large batch traini
2021-10-22 11:04:45
12890
转载 python-前端
(https://github.com/f2e-awesome/knowledge/watchers)难度等级：☆ 为初级，☆☆ 为中级，☆☆☆ 为高级。标签体系：开发工具、HMTL5、CSS、JS、主流框架、优化、Web服务器端、源码学习、前端类库、移动端、PWA、WebAssembly、小程序、Canvas、WebGL、SVG、Graphql、模块化编程、算法、排序、加密、数据结构、数据库、包管理、Python、设计模式、网络协议、函数式编程、DOM、跨域、事件模型、安全、Git、前端规范、Ngi
2021-10-22 10:33:02
1793
原创 PyTorch中的 Conv1D/2D/3D及反卷积
单通道Conv2D（通俗意义上的卷积）运算示意图卷积运算：卷积核在输入信号（图像）上滑动，相应位置上进行乘加。卷积核：又称为滤波器，过滤器，可认为是某种特征。卷积维度：一般情况下 ，卷积核在几个维度上滑动就是几维卷积。卷积过程类似于用一个模版去图像上寻找与它相似的区域，与卷积核模式越相似，激活值越高，从而实现特征提取。下图为AlexNet卷积核可视化，可以看出，卷积核学习到的是 边缘，条纹，色彩这些特征。Conv1D/2D/3D的区别Conv1Dtorch.nn.Conv1d(i
2021-10-14 11:21:26
3608
转载 Transformer
Transformer由论文《Attention is All You Need》提出，现在是谷歌云TPU推荐的参考模型。论文相关的Tensorflow的代码可以从GitHub获取，其作为Tensor2Tensor包的一部分。哈佛的NLP团队也实现了一个基于PyTorch的版本，并注释该论文。1. Transformer 整体结构Transformer 的整体结构，左图Encoder和右图DecoderTransformer 由 Encoder 和 Decoder 两个部分组成，Encoder 和
2021-09-29 14:44:22
329
原创 fine-tune
"""fine-tune""" frozen_layers = [model.encoder_rnn, model.decoder_rnn, model.hidden2logv, model.latent2hidden,model.mean2latent] for layer in frozen_layers: for name, value in layer.named_parameters(): value.requires_grad =...
2021-07-29 11:57:25
169
原创 pytorch 模型微调
新数据集和原始数据集合类似，那么直接可以微调一个最后的FC层或者重新指定一个新的分类器新数据集比较小和原始数据集合差异性比较大，那么可以使用从模型的中部开始训练，只对最后几层进行fine-tuning新数据集比较小和原始数据集合差异性比较大，如果上面方法还是不行的化那么最好是重新训练，只将预训练的模型作为一个新模型初始化的数据新数据集的大小一定要与原始数据集相同，比如CNN中输入的图片大小一定要相同，才不会报错如果数据集大小不同的话，可以在最后的fc层之前添加卷积或者pool层，使得最后的输出与f.
2021-07-29 11:56:37
1088
原创 linux统计文件夹下文件数量
ls -l |grep ^-|wc -l创建名为count_file_num.sh的脚本#!/bin/bash#提醒用户输入需要统计的文件夹的路径read -p "请输入需要统计的文件夹的绝对路径:" fpath#file numbersfile_num=$(ls -lA $fpath |grep "^-"|wc -l)#directory numberdir_num=$(ls -lA $fpath |grep "^d"|wc -l ) #打印具体的文件和文件夹的数量ec
2021-06-30 10:12:37
430
原创 Linux系统中僵尸进程的查看与删除
查看僵尸进程ps -A -o stat,ppid,pid,cmd | grep -e '^[Zz]'批量删除僵尸进程ps -A -o stat,ppid,pid,cmd | grep -e '^[Zz]' | awk '{print $2}' | xargs kill -9
2021-06-10 18:13:06
560
原创 ubuntu pip安装xgboost
很大程度是因为cmake版本过低导致CMake 3.13 or higher is required. You are running version 3.10.2sudo apt remove --purge cmakehash -rsudo snap install cmake --classiccmake --versionpip3 install xgboost
2021-06-01 10:33:24
452
原创 pytorch中的tensor以numpy形式进行输出保存
tensor和numpy不是一种数据类型，所以，在将数据输出保存之前，需要将tensor的数据类型进行转换 # var保存成文件（numpy array） var_path = os.path.join(save_model_path, "Enpy%i.npy" % epoch) np_var = var.data.cpu().numpy() # 数据类型转换 print("mean",type(np_var)) np.save(var_path, np_var)
2021-05-20 13:44:01
3317
转载 HTTPS 的原理
HTTP 为什么不安全HTTP 由于是明文传输，主要存在三大风险1、 窃听风险中间人可以获取到通信内容，由于内容是明文，所以获取明文后有安全风险2、 篡改风险中间人可以篡改报文内容后再发送给对方，风险极大3、 冒充风险比如你以为是在和某宝通信，但实际上是在和一个钓鱼网站通信。HTTPS 显然是为了解决这三大风险而存在的，接下来我们看看 HTTPS 到底解决了什么问题。安全通信的四大原则HTTPS 就是为了解决上述三个风险而生的，一般我们认为安全的通信需要包括以下四个原则: 机密性、
2021-05-18 18:40:02
295
原创 算法工程师必备技能（Python 优化提速小技巧）
Python 优化代码优化原则全局变量很耗时"."很耗时避免模块和函数属性访问避免类内属性访问避免不必要的抽象避免数据复制毫无意义的数据复制交换值时不使用中间变量字符串拼接用join而不是+利用if条件的短路特性循环优化用for循环代替while循环使用隐式for循环代替显式for循环减少内层for循环的计算使用numba.jit选择合适的数据结构代码优化原则本文会介绍不少的 Python 代码加速运行的技巧。在深入代码优化细节之前，需要了解一些代码优化基本原则。第一个基本原则是不要过早优化。很多人一
2021-05-18 17:50:39
833
翻译 PyTorch 模型训练教程(一)-数据
第一章 数 据1.1 Cifar10 转 png下载 cifar-10-python.tar.gz下载方式：官网：http://www.cs.toronto.edu/~kriz/cifar.htmllinux命令：cd Datawget http://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz下载 cifar-10-python.tar.gz，存放到 /Data 文件夹下，并且解压，获得文件夹/Data/cifar-10-batches-
2021-05-10 18:23:33
1568
原创 Linux关闭密码登录
（root用户权限，非root需要sudo）vim /etc/ssh/sshd_config 将PasswordAuthentication参数值修改为no：PasswordAuthentication no重启ssh服务：systemctl restart sshd.service
2021-04-29 13:24:01
2256
原创 Linux设置免密登录
生成秘钥 以windows为例ssh-keygen -t rsa 登录linuxsudo mkdir -p ~/.sshsudo touch ~/.ssh/authorized_keyssudo chmod 700 /home/usersudo chmod 600 ~/.ssh/authorized_keyssudo chown user:root ~/.ssh/authorized_keyssudo vim ~/.ssh/authorized_keys粘贴秘钥，保存退出！.
2021-04-29 13:22:27
187
转载 nvidia-smi介绍
nvidia-smi是用来查看GPU版本信息，GPU使用信息查询：第一栏的Fan：N/A是风扇转速，从0到100%之间变动，这个速度是计算机期望的风扇转速，实际情况下如果风扇堵转，可能打不到显示的转速。有的设备不会返回转速，因为它不依赖风扇冷却而是通过其他外设保持低温（比如我们实验室的服务器是常年放在空调房间里的）。第二栏的Temp：是温度，单位摄氏度。第三栏的Perf：是性能状态，从P0到P12，P0表示最大性能，P12表示状态最小性能。第四栏下方的Pwr：是能耗，上方的Persistence-.
2021-04-25 15:14:43
802
原创 torch.sort()
torch.sort()，对tensor中元素排序2.用法dim = -1，按照行排序，dim= 1按照列排序，descending=True,则递减排序，否则递增3.例子按照行排序logits = torch.tensor([[[-0.5816, -0.3873, -1.0215, -1.0145, 0.4053], [ 0.7265, 1.4164, 1.3443, 1.2035, 1.8823], [-0.4451, 0.1673, 1.2590
2021-04-25 10:53:08
1637
原创 DataLoader 和 Dataset
Dataset是一个包装类，用来将数据包装为Dataset类，然后传入DataLoader中，我们再使用DataLoader这个类来更加快捷的对数据进行操作。DataLoader是一个比较重要的类，它为我们提供的常用操作有：batch_size(每个batch的大小), shuffle(是否进行shuffle操作), num_workers(加载数据的时候使用几个子进程)当我们集成了一个 Dataset类之后，我们需要重写 len 方法，该方法提供了dataset的大小； getitem 方法， 该方法
2021-04-23 18:58:55
274
1
转载 torch.FloatTensor和torch.Tensor、torch.tensor
在Pytorch中，Tensor和tensor都用于生成新的张量。a = torch.Tensor([1, 2])# tensor([1., 2.])a=torch.tensor([1,2])# tensor([1, 2])torch.Tensor()是Python类，更明确的说，是默认张量类型torch.FloatTensor()的别名，torch.Tensor([1,2]) 会调用Tensor类的构造函数__init__，生成单精度浮点类型的张量。a=torch.Tensor([1,2])
2021-04-23 18:54:21
8471
原创 pytorch 中 torch.optim.Adam
optimizer = torch.optim.Adam(model.parameters(), lr=args.learning_rate)实现Adam算法。论文Adam: A Method for Stochastic Optimization参数：params (iterable) – 待优化参数的iterable或者是定义了参数组的dictlr (float, 可选) – 学习率（默认：1e-3）betas (Tuple[float, float], 可选) – 用于计算梯度以及梯
2021-04-23 18:42:44
2479
转载 torch.nn.NLLLoss()
在各种深度学习框架中，我们最常用的损失函数就是交叉熵（torch.nn.CrossEntropyLoss），熵是用来描述一个系统的混乱程度,通过交叉熵我们就能够确定预测数据与真是数据之间的相近程度。交叉熵越小，表示数据越接近真实样本。交叉熵计算公式：就是我们预测的概率的对数与标签的乘积，当qk->1的时候，它的损失接近零。nn.NLLLoss官方文档中介绍称： nn.NLLLoss输入是一个对数概率向量和一个目标标签，它与nn.CrossEntropyLoss的关系可以描述为：softmax
2021-04-23 18:30:54
846
原创 python实现移除某文件夹下所有文件
def del_file(path): ls = os.listdir(path) for i in ls: c_path = os.path.join(path, i) if os.path.isdir(c_path): self.__del_file(c_path) else: os.remove(c_path)
2021-04-13 16:20:19
220
原创 python实现文件压缩
def zip_file(path): import zipfile z = zipfile.ZipFile('youfile.zip', 'w', zipfile.ZIP_DEFLATED) for dirpath, dirnames, filenames in os.walk(path): for filename in filenames: z.write(os.path.join(dirp...
2021-04-13 16:19:08
305
原创 python 合并同一文件夹下部分名字相同的文件
# -*- coding: UTF-8 -*-#!usr/bin/python3# Author: James_Bobo# Completion Date: 2021-04-12from tqdm import tqdmimport osimport pandas as pdimport numpy as npimport warningswarnings.filterwarnings("ignore")import timepath = 'D:/first/second/third
2021-04-12 11:38:28
967
【机器视觉】华为智能安防软件定义摄像机HoloSens SDC技术白皮书.pdf
2020-08-24
声源分离背景声伴奏及人声
2019-12-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人