weixin_46087812的博客

解决pip._vendor.urllib3.exceptions.ReadTimeoutError: HTTPSConnectionPool

【代码】sklearn.metrics.roc_auc_score(二分类/多分类/多标签)

python matplotlib生成矢量图svg emf

torch.unsqueeze() squeeze() expand() repeat()用法及比较

本文记录使用PyTorch、HuggingFace/Transformers 框架工作流程，仅供参考。

分享一款开源的中文文本加噪的数据增强工具

问题描述我们在用Hexo+Github搭建个人博客的过程中，执行hexo clean，hexo g，hexo d三部曲生成和部署网页。在执行hexo d的时候总会出现连接超时或者SSL错误的问题:Failed to connect to github.com port 443: Timed outOpenSSL SSL_read: Connection was reset, errno 10054网络通解关于连接超时问题，网上主流解决方法是自定义一个接口代理或输入如下语句禁用接口代理:git

[问题描述]如何将本地文件上传至Linux服务器上(这里分别以Windows和Ubuntu系统为例)[解决方法]scp filename username@IP:/home/directory举个例子scp data.zip zhangsan@10.10.10.10:/home/project1[样例解释]这里的意思是指将本地的data.zip文件上传至zhangsan的10.10.10.10服务器上的/home/project1路径上。[系统输出]正确输入上述命令后，系统会要求输入该

小白的LeetCode刷题笔记分享

[问题描述]在Linux服务器上跑Caffe、TensorFlow、pytorch之类的需要CUDA的程序时，强行Kill掉进程后发现显存仍然占用[解决办法]使用如下命令查看到top或者ps中看不到的进程，之后再kill掉：fuser -v /dev/nvidia*接着杀掉显示出的进程（有多个）：kill -9 12345kill -9 123456批量清理显卡中残留进程：sudo fuser -v /dev/nvidia* |awk '{for(i=1;i<=NF;i++)pr

鲁棒性鲁棒性：对于输入扰动或对抗样本的性能。加入小扰动，或进行数据增强。对于我们正常使用的模型，或者小数据集，需要进行数据增强，增强模型的鲁棒性，并且可以提升模型泛化能力，即在测试集上的性能。加入对抗样本训练。针对模型的安全，而找到对抗样本进行专门训练，提升模型在对抗样本的鲁棒性；但是会降低模型的泛化能力，在真实的测试集上性能下降。鲁棒性强调网络结构本身的特征，是网络结构和参数在扰动下保持其对信号处理特征的能力，用司机来举例，鲁棒性是司机只用一只手或者旁边有人骚扰情况下开车的能力。泛化性泛化

寻找合适的学习率(learning rate)学习率是一个非常非常重要的超参数，这个参数呢，面对不同规模、不同batch-size、不同优化方式、不同数据集，其最合适的值都是不确定的，我们无法光凭经验来准确地确定lr的值，我们唯一可以做的，就是在训练中不断寻找最合适当前状态的学习率。比如下图利用fastai中的lr_find()函数寻找合适的学习率，根据下方的学习率-损失曲线得到此时合适的学习率为1e-2。推荐一篇fastai首席设计师「Sylvain Gugger」的一篇博客：How Do You

获取语料下载链接处理语料直接下载下来的维基百科语料是一个带有html和markdown标记的文本压缩包，基本不能直接使用。目前主流的开源处理工具主要有两个：1、Wikipedia Extractor；2、gensim的wikicorpus库。然而，这两个主流的处理方法都不能让人满意。Wikipedia Extractor提取出来的结果，会去掉{{}}标记的内容，这样会导致下面的情形西方语言中“数学”（；）一词源自于古希腊语的（）这是因为括号里的词带有{{}}标记，被清空了；而按照网上的教程，

错误样例输入和输出样例代码如下：from transformers import GPT2Tokenizer,GPT2Modeltokenizer = GPT2Tokenizer.from_pretrained('gpt2')model = GPT2Model.from_pretrained('gpt2')special_tokens_dict = {'cls_token': '<CLS>'}num_added_toks = tokenizer.add_special_tokens(

问题发生在Linux系统下进行clear操作，结果报错terminals database is inaccessible问题描述在Linux系统下进行clear操作，结果报错terminals database is inaccessibleclearterminals database is inaccessible解决方法~$ export TERMINFO=/usr/share/terminfo最好是将上面那条 export 命令添加到 .bashrc 中。参考链接h

解决 ERROR: Could not find a version that satisfies the requirement xxx 的问题出现这个问题的原因是python国内网络不稳定，直接导致报错。因此我们常用镜像源来解决此问题pip install 包名 -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.comAnaconda 查看安装源：conda config --show-sourcesAnaconda

上传流程git init //初始化仓库git add . //添加文件到本地仓库git branch -M main //选择main分支，可以改名上传其它分支git commit -m "first commit" //添加文件描述信息git remote add origin https://github.com/xxx/xxxx.git //链接远程仓库，创建主分支git pull origin main // 把本地仓库的变化连接到远程仓库主分支git push -u origi.

import cv2import numpy as npfrom matplotlib import pyplot as pltimg = np.zeros((512,512,3),np.uint8) # 生成一个彩色图像cv2.circle(img,(200,200),50,(0,0,255),-1) # 绘制左眼cv2.circle(img,(400,200),50,(0,0,255),-1) # 绘制右眼cv2.ellipse(img,(300,400),(150,100),0,0,18

决策树分类的应用场景非常广泛，在各行各业都有应用，比如在金融行业可以用决策树做贷款风险评估，医疗行业可以用决策树生成辅助诊断，电商行业可以用决策树对销售额进行预测等。我们利用 sklearn 工具中的决策树分类器解决一个实际的问题：泰坦尼克号乘客的生存预测。问题描述泰坦尼克海难是著名的十大灾难之一，究竟多少人遇难，各方统计的结果不一。项目全部内容可以到我的github下载：https://github.com/Richard88888/Titanic_competition具体流程分为以下几个步骤：

git bashgit config --global --unset http.proxy