- 博客(34)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 HuggingFace Transformers框架使用教程
本文记录使用PyTorch、HuggingFace/Transformers 框架工作流程，仅供参考。
2022-06-25 21:12:19
2134
原创 解决pip._vendor.urllib3.exceptions.ReadTimeoutError: HTTPSConnectionPool
解决pip._vendor.urllib3.exceptions.ReadTimeoutError: HTTPSConnectionPool
2022-12-13 15:51:15
586
1
原创 sklearn.metrics.roc_auc_score(二分类/多分类/多标签)
【代码】sklearn.metrics.roc_auc_score(二分类/多分类/多标签)
2022-09-29 20:16:52
2469
原创 torch.unsqueeze() squeeze() expand() repeat()用法及比较
torch.unsqueeze() squeeze() expand() repeat()用法及比较
2022-07-23 13:50:32
2879
原创 [Git] hexo d时出现连接超时或者SSL错误的解决方法
问题描述我们在用Hexo+Github搭建个人博客的过程中，执行hexo clean，hexo g，hexo d三部曲生成和部署网页。在执行hexo d的时候总会出现连接超时或者SSL错误的问题:Failed to connect to github.com port 443: Timed outOpenSSL SSL_read: Connection was reset, errno 10054网络通解关于连接超时问题，网上主流解决方法是自定义一个接口代理或输入如下语句禁用接口代理:git
2022-05-04 18:43:07
1155
原创 本地上传文件到Linux服务器
[问题描述]如何将本地文件上传至Linux服务器上(这里分别以Windows和Ubuntu系统为例)[解决方法]scp filename username@IP:/home/directory举个例子scp data.zip zhangsan@10.10.10.10:/home/project1[样例解释]这里的意思是指将本地的data.zip文件上传至zhangsan的10.10.10.10服务器上的/home/project1路径上。[系统输出]正确输入上述命令后，系统会要求输入该
2022-04-24 17:46:20
5486
原创 [解决办法] Linux 服务器进程退出了，但是显存占用
[问题描述]在Linux服务器上跑Caffe、TensorFlow、pytorch之类的需要CUDA的程序时，强行Kill掉进程后发现显存仍然占用[解决办法]使用如下命令查看到top或者ps中看不到的进程，之后再kill掉：fuser -v /dev/nvidia*接着杀掉显示出的进程（有多个）：kill -9 12345kill -9 123456批量清理显卡中残留进程：sudo fuser -v /dev/nvidia* |awk '{for(i=1;i<=NF;i++)pr
2022-03-30 22:40:38
5515
原创 简单描述模型的鲁棒性和泛化性的区别
鲁棒性鲁棒性：对于输入扰动或对抗样本的性能。加入小扰动，或进行数据增强。对于我们正常使用的模型，或者小数据集，需要进行数据增强，增强模型的鲁棒性，并且可以提升模型泛化能力，即在测试集上的性能。加入对抗样本训练。针对模型的安全，而找到对抗样本进行专门训练，提升模型在对抗样本的鲁棒性；但是会降低模型的泛化能力，在真实的测试集上性能下降。鲁棒性强调网络结构本身的特征，是网络结构和参数在扰动下保持其对信号处理特征的能力，用司机来举例，鲁棒性是司机只用一只手或者旁边有人骚扰情况下开车的能力。泛化性泛化
2022-03-30 15:35:38
7281
原创 深度学习调参tricks总结
寻找合适的学习率(learning rate)学习率是一个非常非常重要的超参数，这个参数呢，面对不同规模、不同batch-size、不同优化方式、不同数据集，其最合适的值都是不确定的，我们无法光凭经验来准确地确定lr的值，我们唯一可以做的，就是在训练中不断寻找最合适当前状态的学习率。比如下图利用fastai中的lr_find()函数寻找合适的学习率，根据下方的学习率-损失曲线得到此时合适的学习率为1e-2。推荐一篇fastai首席设计师「Sylvain Gugger」的一篇博客：How Do You
2022-03-30 14:10:01
321
原创 获取并处理中文维基百科语料
获取语料下载链接处理语料直接下载下来的维基百科语料是一个带有html和markdown标记的文本压缩包，基本不能直接使用。目前主流的开源处理工具主要有两个：1、Wikipedia Extractor；2、gensim的wikicorpus库。然而，这两个主流的处理方法都不能让人满意。Wikipedia Extractor提取出来的结果，会去掉{{}}标记的内容，这样会导致下面的情形西方语言中“数学”（；）一词源自于古希腊语的（）这是因为括号里的词带有{{}}标记，被清空了；而按照网上的教程，
2022-03-24 13:39:15
1981
原创 【报错解决】ValueError: batch length of `text`: xx does not match batch length of `text_pair`: xx.
错误样例输入和输出样例代码如下：from transformers import GPT2Tokenizer,GPT2Modeltokenizer = GPT2Tokenizer.from_pretrained('gpt2')model = GPT2Model.from_pretrained('gpt2')special_tokens_dict = {'cls_token': '<CLS>'}num_added_toks = tokenizer.add_special_tokens(
2022-01-21 14:47:51
1294
原创 Linux下clear报错 terminals database is inaccessible 解决办法
问题发生在Linux系统下进行clear操作，结果报错terminals database is inaccessible问题描述在Linux系统下进行clear操作，结果报错terminals database is inaccessibleclearterminals database is inaccessible解决方法~$ export TERMINFO=/usr/share/terminfo最好是将上面那条 export 命令添加到 .bashrc 中。参考链接h
2022-01-03 21:03:38
1506
原创 Anaconda添加源，安装第三方库，镜像安装等一系列问题
解决 ERROR: Could not find a version that satisfies the requirement xxx 的问题出现这个问题的原因是python国内网络不稳定，直接导致报错。因此我们常用镜像源来解决此问题pip install 包名 -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.comAnaconda 查看安装源：conda config --show-sourcesAnaconda
2021-11-22 13:34:11
824
原创 [git使用手册]Github上传文件及解决main主分支问题和各类报错error
上传流程git init //初始化仓库git add . //添加文件到本地仓库git branch -M main //选择main分支，可以改名上传其它分支git commit -m "first commit" //添加文件描述信息git remote add origin https://github.com/xxx/xxxx.git //链接远程仓库，创建主分支git pull origin main // 把本地仓库的变化连接到远程仓库主分支git push -u origi.
2021-09-18 00:23:16
1528
原创 openCV: 利用python和cv2绘出一个笑脸
import cv2import numpy as npfrom matplotlib import pyplot as pltimg = np.zeros((512,512,3),np.uint8) # 生成一个彩色图像cv2.circle(img,(200,200),50,(0,0,255),-1) # 绘制左眼cv2.circle(img,(400,200),50,(0,0,255),-1) # 绘制右眼cv2.ellipse(img,(300,400),(150,100),0,0,18
2021-09-02 19:05:21
423
原创 机器学习实战：Kaggle泰坦尼克号生存预测 利用决策树进行预测
决策树分类的应用场景非常广泛，在各行各业都有应用，比如在金融行业可以用决策树做贷款风险评估，医疗行业可以用决策树生成辅助诊断，电商行业可以用决策树对销售额进行预测等。我们利用 sklearn 工具中的决策树分类器解决一个实际的问题：泰坦尼克号乘客的生存预测。问题描述泰坦尼克海难是著名的十大灾难之一，究竟多少人遇难，各方统计的结果不一。项目全部内容可以到我的github下载：https://github.com/Richard88888/Titanic_competition具体流程分为以下几个步骤：
2021-07-14 20:38:44
1245
原创 git报错解决：Failed to connect to github.com port 443: Timed out问题解决
git bashgit config --global --unset http.proxy
2021-07-02 00:03:56
551
原创 自注意力机制和BiLSTM相比有什么优点
尽管自注意力机制在这里和BiLSTM在处理词向量时候的目的都是一致的，那就是为原来割裂的词向量带来上下文的信息，自注意力机制优点为：第一，BiLSTM虽然确实比RNN改进了很多，但对于过长的序列依然没法很好地传输序列起点的信息，但是自注意力机制并没有依赖词与词之间的顺序，而是通过计算词与词之间的相似度去挖掘信息，所以就不存在这种信息丢失的情况；第二，BiLSTM这种处理序列的模型，如果不计算出前一个时刻的结果，就没法计算下一个时刻的结果，所以就造成了无法并行计算，但是自注意力机制因为计算相似度也是不存在这种
2021-06-02 00:05:45
4289
原创 Git报错解决：OpenSSL SSL_read: Connection was reset, errno 10054 错误解决
首先，造成这个错误很有可能是网络不稳定，连接超时导致的，如果再次尝试后依然报错，可以执行下面的命令。打开Git命令页面，执行git命令脚本：修改设置，解除ssl验证git config --global http.sslVerify "false"此时，再执行git操作即可。...
2021-05-22 21:43:18
311
原创 sklearn中train_test_split()函数用法
train_test_split()函数是用来随机划分样本数据为训练集和测试集的，当然也可以人为的切片划分。优点：随机客观的划分数据，减少人为因素完整模板：train_X,test_X,train_y,test_y = train_test_split(train_data,train_target,test_size=0.3,random_state=5)参数解释：train_data：待划分样本数据train_target：待划分样本数据的结果（标签）test_size：测试数据占样本数据
2021-04-02 23:49:44
11812
转载 操作系统MOOC课后习题答案
第一章 导论1.1 什么是操作系统随堂测验1、操作系统的核心目标是（）。A、管理硬件B、运行程序C、让用户方便使用D、提高CPU利用率答案：B2、从设备到本地缓冲之间传输数据由（）完成。A、I/O控制器B、CPUC、设备机械装置D、内存答案：A3、CPU和设备控制器可并行工作，但不同的设备控制器都不能并行工作。答案：错误4、操作系统是所有软件中最底层的软件。答案：正确5、操作系统只管理硬件资源。答案：错误1.2 多道程序设计和分时随堂测验1、下面关于分时系统的叙述错
2021-03-25 18:38:55
14043
5
原创 七、PyTorch 深度学习 加载数据集
第8讲 加载数据集来源：B站 刘二大人import torchimport numpy as npfrom torch.utils.data import Datasetfrom torch.utils.data import DataLoader# prepare dataset# Dataset是一个抽象函数，不能直接实例化，所以我们要创建一个自己类，继承Datasetclass DiabetesDataset(Dataset): def __init__(self, fil
2021-02-28 16:02:50
221
原创 六、PyTorch 深度学习 处理多维特征的输入
07处理多维特征的输入来源：B站 刘二大人源代码：import numpy as npimport torchimport matplotlib.pyplot as plt# prepare datasetxy = np.loadtxt('diabetes.csv.gz', delimiter=',', dtype=np.float32)x_data = torch.from_numpy(xy[:, :-1]) # 第一个‘：’是指读取所有行，第二个‘：’是指从第一列开始，最后一列不要
2021-02-27 16:32:45
411
2
原创 五、PyTorch 深度学习 Logistic回归
Logistic回归来源：B站 刘二大人import torch# import torch.nn.functional as F # prepare datasetx_data = torch.Tensor([[1.0], [2.0], [3.0]])y_data = torch.Tensor([[0], [0], [1]]) #design model using classclass LogisticRegressionModel(torch.nn.Module): def
2021-02-27 15:01:01
156
原创 四、PyTorch 深度学习 用PyTorch实现线性回归
第5讲 用PyTorch实现线性回归来源：B站 刘二大人源代码：import torch# prepare dataset# x,y是矩阵，3行1列 也就是说总共有3个数据，每个数据只有1个特征x_data = torch.Tensor([[1.0], [2.0], [3.0]])y_data = torch.Tensor([[2.0], [4.0], [6.0]])# design model using classclass LinearModel(torch.nn.Modul
2021-02-26 15:03:45
177
原创 Python 深度学习 PyTorch Tensors新手入门必备教程
**深度学习Pytorch Tensors部分讲解**# 导入库import torchimport numpy as np1.创建Tensor1.1 直接从数据创建# 可以直接利用数据创建tensor,数据类型会被自动推断出data = [[1, 2], [3, 4]]x_data = torch.tensor(data)print(x_data)tensor([[1, 2], [3, 4]])1.2 从Numpy创建# Tensor 可以直接从numpy
2021-02-25 23:26:17
393
原创 三、PyTorch 深度学习 反向传播
第4讲 反向传播back propagation来源：B站 刘二大人import torchx_data = [1.0, 2.0, 3.0]y_data = [2.0, 4.0, 6.0]w = torch.Tensor([1.0]) # w的初值为1.0w.requires_grad = True # 需要计算梯度def forward(x): return x * w # w是一个Tensordef loss(x, y): y_pred = forwar
2021-02-24 22:26:08
182
原创 二、PyTorch 深度学习 梯度下降法
第3讲 梯度下降法来源：B站 刘二大人源代码：import matplotlib.pyplot as plt# prepare the training setx_data = [1.0, 2.0, 3.0]y_data = [2.0, 4.0, 6.0]# initial guess of weightw = 1.0# define the model linear model y = w*xdef forward(x): return x * w# define
2021-02-24 21:09:42
125
原创 一、PyTorch 深度学习 线性模型
**第2讲 linear_model **来源：b站刘二大人的视频源代码：import numpy as npimport matplotlib.pyplot as pltx_data = [1.0, 2.0, 3.0]y_data = [2.0, 4.0, 6.0]def forward(x): return x * wdef loss(x, y): y_pred = forward(x) return (y_pred - y) ** 2# 穷举法
2021-02-24 21:05:52
138
1
原创 Python Pandas新人必备入门教程
**Python Pandas的使用简介**import pandas as pdimport numpy as np1.Seriess = pd.Series([1,3,6,np.nan,44,1])print(s) # 索引在左边，值在右边print(s.values) # 输出值print(s.index) # 输出索引# 默认索引从0开始，可以自己指定索引s2 = pd.Series([1,2,3,4],['a','b','c','d']) # 指定索引abcdp
2021-02-24 14:45:03
448
4
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人