![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python技巧
文章平均质量分 59
蛐蛐蛐
个人主页:https://quyu.github.io/
展开
-
Resource punkt not found.的解决方法
中间这句我注释掉了,可以用来设置http代理。运行以后出现图形界面——选择Models,然后就可以看到punkt,然后通过键盘上下键选择到punkt这一行,再点Download即可下载。这个问题本来不想记录,但是在好几个机子上都碰到了(用到了LangChain读Word文档)。原创 2024-06-26 19:24:45 · 173 阅读 · 0 评论 -
在Windows上用Llama Factory微调Llama 3的基本操作
我们构造数据集的时候,最简单的方法就是只构造instruction和output。当然,如果训练数据集比较小的话,测试的效果也不会太好。如果大家只是想对微调效果和特定问题进行展示,可以训练模型到过拟合,呵呵呵。训练完成后切换到Export,然后在上面的“微调方法”——“检查点路径”中选择刚才存储的目录Train_2024_xxxx之类,然后指定导出文件的目录,然后就可以导出了。不过这时候还没有模型参数文件,对于国内用户而言,可以在这里。选择自己的私有数据集,可以预览一下,然后就可以开始训练了。原创 2024-06-07 17:18:08 · 1424 阅读 · 0 评论 -
怎么通过OpenAI API调用其多模态大模型(GPT-4o)
现在只要有额度,大家都可以调用OpenAI的多模态大模型了,例如GPT-4o和GPT-4 Turbo,我一年多前总结过一些OpenAI API的用法,发现现在稍微更新了一下。其实也是比较简单的,就是本地图片需要用base 64先编码,然后再上传。当然,大家用的时候还是要注意花费,现在感觉还是有点贵的。原创 2024-05-19 20:57:32 · 1669 阅读 · 0 评论 -
设置Ollama在局域网中访问的方法(Ubuntu)
趁着Llama3的热度试了一下Ollama,果然部署推理大模型很有用。一个现实的需求是,如果我们要在局域网中访问Ollama上大模型的服务,应该怎么办呢?参考了一下其他博客的方法。就可以通过局域网或者另一台机子上的LangChain调用了。其次配置防火墙,打开端口。首先打开Ollama的配置文件。原创 2024-04-22 23:24:02 · 4832 阅读 · 3 评论 -
Python改变图大小并按照短边居中剪裁的方法
发现Stable Diffusion Webui,Lora-scripts之类的还是不够智能,预处理阶段有这样的需求。目标很简单,把一个超大的图缩小成正方向(如1024*1024),并保留短的一边,长的一边剪裁,并且剪裁过程居中。这段代码应该一看就懂。原创 2024-04-21 23:21:32 · 159 阅读 · 0 评论 -
ERROR: Could not install packages due to an OSError: Missing dependencies for SOCKS support.
【代码】ERROR: Could not install packages due to an OSError: Missing dependencies for SOCKS support.原创 2024-04-19 22:25:22 · 329 阅读 · 0 评论 -
stable-diffusion-webui报OSError: Can‘t load tokenizer for ‘openai/clip-vit-large-patch14‘的正确解决方法
把repo clone到openai文件夹就行了。何必要用硬编码呢,完全违反软件工程实践。则需要在标红的目录下新建openai文件夹。不知道这么简单的问题为什么大家讲不清除。但是我发现很多朋友是改代码中的绝对路径的,这非常不科学,为啥要用硬编码绝对路径呢?原创 2024-04-16 22:16:28 · 1967 阅读 · 0 评论 -
Ubuntu中matplotlib显示中文的方法
可以看到/usr/share/fonts/MyFonts(这个文件夹也是新增的)下有很多字体。很多朋友说把字体拷贝到matplotlib目录下,例如我这里:/home/quyu/anaconda3/envs/TranAD/lib/python3.8/site-packages/matplotlib/mpl-data/fonts,但是个人感觉应该放到上面这个fonts文件夹的ttf目录下。这看起来就很清楚了,另外,从这个json看,是不是不拷贝到ttf目录下也能找到?这个我没测试,感兴趣的朋友可以试试!原创 2024-02-23 11:03:40 · 591 阅读 · 0 评论 -
Python报No such file or directory: ‘science‘的解决方法
像在我的电脑上的路径是:/home/quyu/anaconda3/envs/TranAD/lib/python3.8/site-packages/matplotlib/mpl-data/fonts,把下载的字体更新进去。然后删掉/home/quyu/.cache/matplotlib这个文件夹就可以了。把这几个问题解决后,就可以输出论文里类似的结果图了(虽然我还是不太相信这个论文的代码和结论)。还是想看看这篇论文的可视化结果。原创 2024-02-08 00:54:55 · 943 阅读 · 3 评论 -
安装pygraphviz报错——fatal error: graphviz/cgraph.h: 没有那个文件或目录的解决方法
pygraphviz/graphviz_wrap.c:3020:10: fatal error: graphviz/cgraph.h: 没有那个文件或目录。结果报错:requires pygraphviz http://pygraphviz.github.io/原创 2024-01-27 21:55:07 · 776 阅读 · 0 评论 -
Python调用ChatGPT(gpt-3.5-turbo)的最简单例子
不知道细节的朋友可以看看我之前的几篇博客。原创 2023-04-23 06:09:32 · 2364 阅读 · 1 评论 -
使用OpenAI API(或ChatGPTAPI)的时候应该选择哪个model
因为GPT-4并不是人人可用的,所以目前gpt-3.5-turbo是最应该尝试使用的。原创 2023-04-21 16:25:04 · 2072 阅读 · 0 评论 -
如何在Ubuntu上方便使用OpenAI API key
其实已经说得很清楚了,在生产环境中,务必通过环境变量加载API key。这样做也能使自己的代码更安全,更方便地和别人共享。即可以设置API key了,而且也不怕key通过代码泄密,只有能访问你操作系统的人(也就是你自己)才能看到。就可以看到你的API key了。原创 2023-03-26 08:28:53 · 2926 阅读 · 2 评论 -
怎么样使用OpenAI的Python API
其次,如果在刚才第一个页面中点Sign up,然后登录,在右上角自己用户名的图标点一下,可以看到有“View API keys”,然后就可以创建或者使用自己已有的API key了。有趣的是,生成了的API key,第二次在网站上也看不到字符串了。可以在嵌入之前先计算一下序列的长度,但文档里并没有说超长了怎么处理,是截断还是直接不处理了呢。这样就会列出所有的model名字,不过大家应该注意,每一次API调用都是要收钱的,我也不知道打印个list需要收钱不,保险起见,不运行也可以。原创 2023-03-26 07:41:18 · 1389 阅读 · 0 评论 -
unsupported GNU version! gcc versions later than 10 are not supported! 的解决方法
然后按序号选择一个老的版本,再看version,果然已经变成低版本了。再重新安装torch-scatter,果然就好了。今天尝试使用别人一个项目(原创 2023-03-20 16:53:18 · 1067 阅读 · 0 评论 -
使用Python Seaborn绘制热力图(heatmap)的时候怎么改变配色
【代码】使用Python Seaborn绘制热力图(heatmap)的时候怎么改变配色。原创 2023-02-03 17:11:24 · 6759 阅读 · 3 评论 -
怎样在Ubuntu 22.04上使用Joern处理Java源码
经过网友的提醒,我发现现在的Joern确实可以处理Java源码了,这里简单介绍一下,在一台新的Ubuntu 22.04系统中怎么使用Joern。原创 2022-12-22 05:54:41 · 1030 阅读 · 1 评论 -
使用Python的csv.writer的时候怎样包含双引号
定义好writer之后写每一行就可以了:writer.writerow(row)可以看到这个参数默认使用。原创 2022-12-10 08:50:24 · 2047 阅读 · 1 评论 -
基于Conda的PyTorch Geometric报“段错误 (核心已转储)”的解决方法
来看,目前(2022年11月),PyTorch稳定版本是1.13.0,而从第二个网页来看,PyG最多支持的PyTorch版本是1.12.*,所以应该安装更老一点的PyTorch。另外,从上面两个网页来看,最好是全都使用conda安装。也会报“段错误 (核心已转储)”。捜了一下,发现主要是因为PyTorch和PyG的版本不对应所致。大家都提到要注意PyTorch和PyG的版本的对应。发现都通过Conda安装后,是可以解决上面的“段错误 (核心已转储)”的报错的。怎么感觉PyG的开发有点滞后了呢?原创 2022-11-13 17:10:57 · 1737 阅读 · 0 评论 -
在Ubuntu 22.04上安装CUDA和cuDNN的经验记录(2022年11月)
会直接提示:Failed to verify gcc version. 安装gcc后,不用做降级,就可以直接运行了。安装方式也变多了很多。我之前的博客也已经写得很清楚了。原创 2022-11-13 11:55:01 · 2368 阅读 · 0 评论 -
解决Python 3报:bad magic number in XXX的解决方法
目前发现下面这个方法是最简单的,所以简单记录一下:其实删掉.pyc文件即可,但有时候由于anaconda之类的存在,我们都不太好定位到底是哪里的.pyc文件出了错,解决方法也很简单,在一个大的目录下,终端打开,运行:原创 2022-09-10 11:32:30 · 5093 阅读 · 3 评论 -
怎样使用Scrapy爬取NVD网站上的数据
不过遇到新的需求的时候,还是想记录一下。不过因为只是简单记录,所以这篇博客很水。就简单总结这么多,应该说我对Scrapy这个爬虫的使用算是相当了解了。原创 2022-08-27 02:07:14 · 823 阅读 · 0 评论 -
Transformers的RoBERTa model怎么使用word level的tokenizer
不得不说,和上面相比,差别有点大啊(例如:tokenizer = Tokenizer(WordLevel()),以及必需要加tokenizer.pre_tokenizer = Whitespace()这一行)。其实这个问题应该是很好解决的,想不到竟然花了3个多小时。我去,这个原因我也是醉了,所以最后手动建立一个空白的merges.txt文件,然后就可以正常保存和使用这个tokenizer了。从之前说的RoBERTa的示例代码可以知道, 需要再重新加载的tokenizer需要在一个文件夹下,所以这个也不行。原创 2022-08-24 12:32:20 · 1738 阅读 · 4 评论 -
将transformers的tokenizer处理之后(如BPE)的序列映射回输入序列
从上面的输出中可以看到,encoded['input_ids']对应的就是输入到transformer encoder的tensor输入,.tokens()返回的是tokenize以后的token,.word_ids()返回的是tokenize以后的token的编码(而并不是输入sequence的)。为了展示方便,省略了之前很长的那些print,可以看到,最后生成的这个word_2_token_mapping是完全正确的。,这个和API文档里说的完全不一样啊。,这个表明的是在原输入序列中的位置。原创 2022-08-20 12:36:30 · 1293 阅读 · 1 评论 -
Ubuntu上运行ProbLog程序的基本方法
这篇博客很简单,接上一篇:在Ubuntu上安装并运行DeepProbLog的简单过程_蛐蛐蛐的博客-CSDN博客。其实要运行ProbLog代码是相当简单的,如上一篇博客中所说的,首先安装engine:原创 2022-08-01 12:29:56 · 272 阅读 · 0 评论 -
在Ubuntu上安装并运行DeepProbLog的简单过程
可以通过binary形式安装,照着输入命令就可以了,然后再运行pythonaddition.py,发现就可以正常开始训练了。,原来是个Prolog的engine,想不通,我只想运行一下这个model,为啥还要装Prolog呢,这个model不是基于Problog的吗?就是论文里说的图像数字相加的例子。这篇博客只是简单记录一下,没什么技术含量。...原创 2022-07-26 14:47:20 · 295 阅读 · 0 评论 -
Ubuntu更新Node.js时遇到的“由于没有公钥,无法验证下列签名: NO_PUBKEY”的解决方法
这个问题说来比较绕,主要是因为我系统上的node.js版本太低了,想安装新的版本,参考这里的说明:https://github.com/nodesource/distributions/blob/master/README.md首先输入:结果就报了下面的错:我这里特别想吐槽一下:这个源不能用就不用了呗,为啥就exit了,这是什么傻叉逻辑???于是得想办法解决这个报错。看到一些朋友说是加入签名,更新/etc/apt/sources.list文件,删除软件源等等(例如:sudo apt-get updat原创 2022-06-19 13:37:13 · 2017 阅读 · 2 评论 -
怎样编译Linux Kernel中的尽可能多的源码
在上一篇博客:在Ubuntu上编译特定版本的Linux Kernel_蛐蛐蛐的博客-CSDN博客中,我介绍了编译Linux Kernel源码的基本过程,但是如果按照menuconfig默认选项来编译的话,生成的binary file个数很少,明显和源码的规模不符。那怎么编译其中的所有源码呢?这里有朋友进行了解释:How to make all features compile to modules in kernel compilation? - Stack Overflow也就是说,首先执行:再执行原创 2022-06-09 04:36:40 · 220 阅读 · 0 评论 -
PyTorch使用index_add_报:one of the variables needed for gradient computation has been modified
简单记录一下这个问题的解决。我需要使用tensor A的一些行来替换tensor B的一些行(通过一个表示索引的tensor来指定位置),发现可以使用:torch.index_select和torch.index_add来实现。具体等会来介绍一下,先说说怎么解决这个报错。发现PyTorch的文档主要介绍的是:torch.Tensor.index_add_:torch.Tensor.index_add_ — PyTorch 1.11.0 documentationtorch.index_add — P原创 2022-04-30 14:16:52 · 645 阅读 · 0 评论 -
使用DGL实现RGCN时报Assertion srcIndex < srcSelectDimSize failed.的解决办法
这个问题在不同的framework上碰到过很多次了。我之前没有用过DGL实现过RGCN,简单看了一下网上的例子,按照这里:dgl.nn.pytorch.conv.relgraphconv — DGL 0.8.1 documentation和GCN的区别就是forward中要输入一个表示edge类型的tensor,我就是因为这里的输入有点问题,所以才报错了。具体来说,看这里注释中的例子:dgl/relgraphconv.py at master · dmlc/dgl · GitHub输入的te原创 2022-04-23 07:17:04 · 5066 阅读 · 0 评论 -
怎么实现GCN Siamese network?
这篇博客只是简单谈一下思路:GCN+Siamese Network可以实现对graph相似度检测,其思路和其他Siamese network的思路是相同的,如果我们在GitHub上搜索“gcn siamese”,可以看到如下的结果:简单看一下这些Repo是怎么组织数据的:https://github.com/flychen321/siamese_gcn/blob/master/datasets.py感觉大体思路都和基于CNN的Siamese network差不多:PyTorch之—S原创 2022-04-13 16:48:05 · 1289 阅读 · 0 评论 -
PyTorch Dataloader报CUDA error: initialization error的解决方法
这里也就简单记录一下,和这篇博客说的类似:RuntimeError: CUDA error: initialization error_IMU_YY的博客-CSDN博客除了上面这个报错,还报了:During handling of the above exception, another exception occurred:除了这篇博客的解决方法,还可以直接把num_workers这个参数删掉即可。例如我从train_dataloader = DataLoader(dataset=t原创 2022-04-13 05:45:33 · 1727 阅读 · 0 评论 -
XGBoost 1.5.0的sklearn接口怎么使用GPU
虽然很早就听说XGBoost:Chen, Tianqi, and Carlos Guestrin. "Xgboost: A scalable tree boosting system." In Proceedings of the 22nd acm sigkdd international conference on knowledge discovery and data mining, pp. 785-794. 2016.已经引用一万多次了。但是我没怎么用过,如果是传统机器学习方法,还是用R原创 2021-11-19 14:18:29 · 4088 阅读 · 1 评论 -
谈谈LaTeX中代码段显示的选择,以及Package minted Error: You must invoke LaTeX with the -shell-escape flag的处理方法
我已经写过好几篇博客说这个问题,总体上来讲,我觉得LaTeX的listing特别拉胯,显示的代码段高亮很丑,让人不忍直视。下面举个例子来说明:例如要显示下面这段C代码:int max(int a, int b){ if (a > b) return a; else return b;}我们有两种选择,一种是用listing,另一种是用minted,用listing的时候,我进行了如下的设置:\usepackage{listings原创 2021-10-27 05:15:20 · 3936 阅读 · 0 评论 -
记录一个Ubuntu中python深度学习程序的内存泄漏情况及其处理
不得不说,很多看似很成熟的程序,也会有很多内存泄露的问题:由于实验需要,我需要在硬盘上生成很多的小文件,然后调用srcML处理(我也试过直接在内存中读写,但会有其他问题),然后根据处理结果生成embedding。最终生成几个list,每个list大概有十几万个图。本来很简单的过程,但是跑实验的时候遇到了好几个内存泄漏问题:1. 我希望看到生成小文件的过程,因为可以判断程序运行的速度,就一直开着文件夹看,结果看到nautilus逐渐把内存占满了,我以为是因为频繁读写硬盘造成的:Ubuntu 中的原创 2021-10-01 13:39:42 · 779 阅读 · 0 评论 -
PyTorch二分类时BCELoss,CrossEntropyLoss,Sigmoid等的选择和使用
这两天我们有一篇顶会的论文需要Minor Revision,reviewer说让我们在网络图中把fully connected layer画出来。对到底应该画图、画到多详细有点疑问,所以简单总结一下。我们在论文中解决的是一个二分类的问题,我们说hidden state送入fully connected layer+sigmoid做分类,但没有在网络图中画出来,有reviewer就让我们改图了。不过画了fully connected layer,还需要画sigmoid吗?这里就总结一下使用PyTorch做原创 2021-09-08 01:52:03 · 7804 阅读 · 2 评论 -
Python报错:enumerate() takes 0 positional arguments but 1 was given的解决办法
这个问题出现,感觉很莫名奇妙,baidu并没有看到什么有价值的答案,还是google给出了答案:https://stackoverflow.com/questions/57403522/enumerate-takes-0-positional-arguments-but-1-was-giventhreading has a threading.enumerate function that returns a list of the Thread objects for all live thre原创 2021-09-04 17:29:31 · 1380 阅读 · 1 评论 -
关于Gensim的word2vec要不要train的疑问
我一直有这方面的疑问,看网上大部分的例子,大家都是直接创建了model即可,例如这里:https://www.jianshu.com/p/5f04e97d1b27给出的例子:from gensim.models import word2vec import timestart = time.clock()model=word2vec.Word2Vec(train_content, size=200)end = time.clock()print('Running time: %s Sec原创 2021-08-19 02:31:41 · 705 阅读 · 5 评论 -
PyTorch的NLLLoss和CrossEntropyLoss区别和联系
这个问题其他网友已经总结得很好,例如:https://blog.csdn.net/qq_22210253/article/details/85229988为了方便大家更进一步理解,我把上面博客中的例子总结到了一个文件中,方便大家以此为例学习:import torchimport torch.nn as nninput=torch.randn(3,3)print(input)sm=nn.Softmax(dim=1)print(sm(input))log_result=torch.l原创 2021-08-16 15:43:45 · 153 阅读 · 0 评论 -
安装KeOps过程中的踩坑记录
由于需要跑一篇论文的代码,需要安装KeOps。这里忍不住再吐槽一次:Python开发环境的版本依赖管理太混乱了,加上各种操作系统,驱动,CUDA版本等等,太浪费生命。所以,如果要写论文,发布open source的package,最好是用大家主流用到的一些库(如PyTorch,numpy,networkx这些),免得让很多人重复实验的时候浪费时间(很多情况下你不重复实验,reviewer会吐槽),请作者和reviewer们都做个人吧!别再浪费大家的时间了。具体到这个库,我连听都没有听说过,按照其文档进行原创 2021-08-11 03:40:00 · 2187 阅读 · 1 评论