- 博客(419)
- 资源 (65)
- 收藏
- 关注
原创 Windows 11上pip报‘TLS/SSL connection has been closed (EOF) (_ssl.c:1135)‘的解决方法
然后再运行pip就可以正常安装了。感觉在国内装环境,百分之50的时间都是在处理和网络相关的问题,呵呵呵。
2024-09-11 11:17:41 935
原创 Windows 11怎样在不同Anaconda环境中安装不同版本的CUDA
感觉当时的解决方法还比较复杂。最新有一台新的Windows 11系统想安装低版本的CUDA,感觉肯定不能使用上面这个博客的方法了(要改什么软连接和修改环境变量),所以搜了些博客,但是发现有些并不好用。可以看到这两次的CUDA版本确实是不一样的。感觉这个方法比我几年前总计的简单多了,不知道在Linux上适用不,感觉也应该适用,感兴趣的朋友可以自己测试一下。发现CUDA的版本并没有变化,呵呵呵,这个方法不靠谱啊。
2024-09-09 17:19:19 589
原创 Ubuntu 24.04上报:Error: could not connect to ollama app, is it running?的解决方法
其实User,Group之类的都不需要修改,主要是要加上端口号才能正常运行。原本42GB的qwen2:72b变成49GB了,interesting,虽然大小只变化了一点,但在CPU上之后速度慢了很多。可以看到服务是active的。说起来这个问题真实让人无语。
2024-08-10 22:36:06 1160
原创 在Ubuntu 24.04上安装ollama报curl: (28) Failed to connect to github.com port 443的解决方法
在一个新的Ubuntu 24.04上安装Ollama,结果报类似于:curl: (28) Failed to connect to github.com port 443 after 136027 ms: Couldn't connect to server的错,想想可能还是网络的问题。则不能解决问题(和上面这些稍有不同,我这里查到的github.com的网址是:140.82.112.3)。发现这样确实可以解决问题。如果socks5代理应该这样写(我之前参考的这篇博客。发现这种方法依然不能解决问题。
2024-08-05 22:57:05 809
原创 Windows系统上怎么设置Ollama环境变量
例如我们在windows环境变量中可以把OLLAMA_KEEP_ALIVE改成1h,OLLAMA_NUM_PARALLEL改成2,就可以同时有两个并发访问,并且驻留时间为1h了(如果用ollama ps则会显示59 minutes)。如果要改驻留时间,就修改OLLAMA_KEEP_ALIVE,那这个环境变量是什么单位呢?
2024-07-22 10:09:57 1650
原创 Resource punkt not found.的解决方法
中间这句我注释掉了,可以用来设置http代理。运行以后出现图形界面——选择Models,然后就可以看到punkt,然后通过键盘上下键选择到punkt这一行,再点Download即可下载。这个问题本来不想记录,但是在好几个机子上都碰到了(用到了LangChain读Word文档)。
2024-06-26 19:24:45 250
原创 使用LangChain+Ollama的时候怎么使用其他的embedding模型
其中有两个是Deprecated的,而我们平时用到的HuggingFace的embedding model都基本以SentenceTransformer形式提供,我测试了一下,embeddings.huggingface.HuggingFaceBgeEmbeddings这个类是可以使用的,embeddings.huggingface.HuggingFaceInstructEmbeddings这个会报错,也没有仔细检查原因。经过测试,发现比Ollama自己的embedding模型的中文效果好多了。
2024-06-25 09:23:55 2167
原创 用LangChain调用Ollama的时候一个小问题
来测试其是否正常,通常会出来“Ollama is running”,然后我习惯性地从Chrome把地址拷贝到VS Code,真是太奇怪了,试了几次才发现,原来不能带那个反斜杠!这个问题真是让人无语。说来让人无语,简单记录一下。安装好Ollama后,我们通常通过访问。
2024-06-21 16:53:50 619
原创 在Windows上用Llama Factory微调Llama 3的基本操作
我们构造数据集的时候,最简单的方法就是只构造instruction和output。当然,如果训练数据集比较小的话,测试的效果也不会太好。如果大家只是想对微调效果和特定问题进行展示,可以训练模型到过拟合,呵呵呵。训练完成后切换到Export,然后在上面的“微调方法”——“检查点路径”中选择刚才存储的目录Train_2024_xxxx之类,然后指定导出文件的目录,然后就可以导出了。不过这时候还没有模型参数文件,对于国内用户而言,可以在这里。选择自己的私有数据集,可以预览一下,然后就可以开始训练了。
2024-06-07 17:18:08 2250 1
原创 怎么通过OpenAI API调用其多模态大模型(GPT-4o)
现在只要有额度,大家都可以调用OpenAI的多模态大模型了,例如GPT-4o和GPT-4 Turbo,我一年多前总结过一些OpenAI API的用法,发现现在稍微更新了一下。其实也是比较简单的,就是本地图片需要用base 64先编码,然后再上传。当然,大家用的时候还是要注意花费,现在感觉还是有点贵的。
2024-05-19 20:57:32 3256
原创 设置Ollama在局域网中访问的方法(Ubuntu)
趁着Llama3的热度试了一下Ollama,果然部署推理大模型很有用。一个现实的需求是,如果我们要在局域网中访问Ollama上大模型的服务,应该怎么办呢?参考了一下其他博客的方法。就可以通过局域网或者另一台机子上的LangChain调用了。其次配置防火墙,打开端口。首先打开Ollama的配置文件。
2024-04-22 23:24:02 7403 5
原创 Python改变图大小并按照短边居中剪裁的方法
发现Stable Diffusion Webui,Lora-scripts之类的还是不够智能,预处理阶段有这样的需求。目标很简单,把一个超大的图缩小成正方向(如1024*1024),并保留短的一边,长的一边剪裁,并且剪裁过程居中。这段代码应该一看就懂。
2024-04-21 23:21:32 192
原创 ERROR: Could not install packages due to an OSError: Missing dependencies for SOCKS support.
【代码】ERROR: Could not install packages due to an OSError: Missing dependencies for SOCKS support.
2024-04-19 22:25:22 407
原创 stable-diffusion-webui报OSError: Can‘t load tokenizer for ‘openai/clip-vit-large-patch14‘的正确解决方法
把repo clone到openai文件夹就行了。何必要用硬编码呢,完全违反软件工程实践。则需要在标红的目录下新建openai文件夹。不知道这么简单的问题为什么大家讲不清除。但是我发现很多朋友是改代码中的绝对路径的,这非常不科学,为啥要用硬编码绝对路径呢?
2024-04-16 22:16:28 2612
原创 科大讯飞星火开源大模型iFlytekSpark-13B GPU版部署方法
iFlytekSpark-13B: 讯飞星火开源-13B(iFlytekSpark-13B)拥有130亿参数,新一代认知大模型,一经发布,众多科研院所和高校便期待科大讯飞能够开源。最后说说硬件要求,我做完了以上配置就不报别的错了,只是还是显存溢出了,我的电脑是3090*2的,看来最低只能用40GB单卡,两个24GB由于各种原因会爆显存。需要注意的是,如上面repo里介绍的,由于模型太大所以使用Git LFS存储,如果直接用git clone是没法下载的。结合上面的博客,感觉有可能确实是分支的问题。
2024-04-15 16:32:54 2974
原创 Ubuntu中matplotlib显示中文的方法
可以看到/usr/share/fonts/MyFonts(这个文件夹也是新增的)下有很多字体。很多朋友说把字体拷贝到matplotlib目录下,例如我这里:/home/quyu/anaconda3/envs/TranAD/lib/python3.8/site-packages/matplotlib/mpl-data/fonts,但是个人感觉应该放到上面这个fonts文件夹的ttf目录下。这看起来就很清楚了,另外,从这个json看,是不是不拷贝到ttf目录下也能找到?这个我没测试,感兴趣的朋友可以试试!
2024-02-23 11:03:40 695
原创 MathType里怎么输入手写字体
在MathType里输入,首先输入一个正常字母,选中——样式——其他——对话框里选择“Euclid Math One”即可。这篇博客只是简单记录一下。
2024-02-21 16:05:53 1570
原创 Python报No such file or directory: ‘science‘的解决方法
像在我的电脑上的路径是:/home/quyu/anaconda3/envs/TranAD/lib/python3.8/site-packages/matplotlib/mpl-data/fonts,把下载的字体更新进去。然后删掉/home/quyu/.cache/matplotlib这个文件夹就可以了。把这几个问题解决后,就可以输出论文里类似的结果图了(虽然我还是不太相信这个论文的代码和结论)。还是想看看这篇论文的可视化结果。
2024-02-08 00:54:55 1111 4
原创 时间序列异常检测论文TranAD: Deep Transformer Networks for Anomaly Detection in Multivariate Time Series Data
可以看作是论文中的一个W_t,前面的一个d是128个W_t的集合,也就是T=128,但是permute之后的意义全变了啊,其实在我的例子里,[7,8]也就是[3,4],但是这样一来,序列长度就是128了,而且在训练的时候,感觉是用后面的metric value预测前面,这不就是leakage了吗?我已经花了两天多在这个model上了,真是感觉不值,不得不再吐槽一句,学术界真的是太垃圾太浮躁了。由于工作需要,想用一下这篇论文的方法,但感觉其代码还是有很多不清除的地方,简单总结一下。
2024-02-06 14:56:03 876
原创 在Conda中搭建PyTorch+DGL+PyG时需要仔细查看的几个关于版本的网页
但是现在还是能遇到问题,例如今天在一个新的Ubuntu上复现别人论文里的实验,就还是出现了问题。没办法,还是得仔细检查版本。特别应该注意PyTorch和CUDA之类的对应关系。
2024-02-01 15:58:32 415
原创 安装pygraphviz报错——fatal error: graphviz/cgraph.h: 没有那个文件或目录的解决方法
pygraphviz/graphviz_wrap.c:3020:10: fatal error: graphviz/cgraph.h: 没有那个文件或目录。结果报错:requires pygraphviz http://pygraphviz.github.io/
2024-01-27 21:55:07 958
原创 Windows Powershell大量进程占用CPU的一种解决方法
首先,进入安全模式;其次,和修改文件名类似,我们也可以修改powershell.exe所在路径,例如我从C:\Windows\System32\WindowsPowerShell\v1.0改到了:C:\Windows\System32\WindowsPowerShell\v2.0,然后再重启,就可以发现机子正常了。就简单总结一下,相信一定有朋友会遇到类似的问题。今天不知道怎么回事(可能是装了某个软件),导致Windows Powershell在每次开机后都会创建很多进程,消耗几乎所有的CPU和内存。
2023-12-07 15:13:47 1810
原创 Win 10部署stable-diffusion-webui时github报错的解决方法
这篇博客就是简单记录一下。设置好了之后,就可以正常下载并且部署stable-diffusion-webui了。
2023-11-25 19:54:54 1855
原创 优盘安装Win 10英文版的一点经验
用微软提供的工具“Create Windows 10 installation media”,下载英文版iso,但是我总是装到一半就报错。不过我第二次试的时候,基本上就没这个问题了,简单来说,要下载英文语言包(如果版本有这个权限的话) ,如果遇到中英文混乱的问题,就按照上面那篇知乎文章解决。由于一些特殊的原因,需要在一个笔记本上安装Win 10英文版,没想到还挺麻烦的,简单记录两句。
2023-08-06 16:20:27 1226
原创 统计Ubuntu各个文件夹的大小
sudo是为了避免一些目录报“无法读取目录,权限不够”,--max-depth指定深入目录的层数,可以根据自己的需求进行修改。个人感觉这个命令就够用了。
2023-05-29 08:28:17 563
原创 使用OpenAI API(或ChatGPTAPI)的时候应该选择哪个model
因为GPT-4并不是人人可用的,所以目前gpt-3.5-turbo是最应该尝试使用的。
2023-04-21 16:25:04 2201
原创 如何在Ubuntu上方便使用OpenAI API key
其实已经说得很清楚了,在生产环境中,务必通过环境变量加载API key。这样做也能使自己的代码更安全,更方便地和别人共享。即可以设置API key了,而且也不怕key通过代码泄密,只有能访问你操作系统的人(也就是你自己)才能看到。就可以看到你的API key了。
2023-03-26 08:28:53 3159 2
原创 怎么样使用OpenAI的Python API
其次,如果在刚才第一个页面中点Sign up,然后登录,在右上角自己用户名的图标点一下,可以看到有“View API keys”,然后就可以创建或者使用自己已有的API key了。有趣的是,生成了的API key,第二次在网站上也看不到字符串了。可以在嵌入之前先计算一下序列的长度,但文档里并没有说超长了怎么处理,是截断还是直接不处理了呢。这样就会列出所有的model名字,不过大家应该注意,每一次API调用都是要收钱的,我也不知道打印个list需要收钱不,保险起见,不运行也可以。
2023-03-26 07:41:18 1433
原创 unsupported GNU version! gcc versions later than 10 are not supported! 的解决方法
然后按序号选择一个老的版本,再看version,果然已经变成低版本了。再重新安装torch-scatter,果然就好了。今天尝试使用别人一个项目(
2023-03-20 16:53:18 1184
原创 NVIDIA-SMI has failed because it couldn‘t communicate with the NVIDIA driver的一种简单解决方法
NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver的一种简单解决方法
2023-03-19 09:48:24 647
原创 使用Python Seaborn绘制热力图(heatmap)的时候怎么改变配色
【代码】使用Python Seaborn绘制热力图(heatmap)的时候怎么改变配色。
2023-02-03 17:11:24 6919 3
原创 怎样在Ubuntu 22.04上使用Joern处理Java源码
经过网友的提醒,我发现现在的Joern确实可以处理Java源码了,这里简单介绍一下,在一台新的Ubuntu 22.04系统中怎么使用Joern。
2022-12-22 05:54:41 1074 1
原创 使用Python的csv.writer的时候怎样包含双引号
定义好writer之后写每一行就可以了:writer.writerow(row)可以看到这个参数默认使用。
2022-12-10 08:50:24 2151 1
原创 基于Conda的PyTorch Geometric报“段错误 (核心已转储)”的解决方法
来看,目前(2022年11月),PyTorch稳定版本是1.13.0,而从第二个网页来看,PyG最多支持的PyTorch版本是1.12.*,所以应该安装更老一点的PyTorch。另外,从上面两个网页来看,最好是全都使用conda安装。也会报“段错误 (核心已转储)”。捜了一下,发现主要是因为PyTorch和PyG的版本不对应所致。大家都提到要注意PyTorch和PyG的版本的对应。发现都通过Conda安装后,是可以解决上面的“段错误 (核心已转储)”的报错的。怎么感觉PyG的开发有点滞后了呢?
2022-11-13 17:10:57 1808
原创 在Ubuntu 22.04上安装CUDA和cuDNN的经验记录(2022年11月)
会直接提示:Failed to verify gcc version. 安装gcc后,不用做降级,就可以直接运行了。安装方式也变多了很多。我之前的博客也已经写得很清楚了。
2022-11-13 11:55:01 2438
原创 解决Python 3报:bad magic number in XXX的解决方法
目前发现下面这个方法是最简单的,所以简单记录一下:其实删掉.pyc文件即可,但有时候由于anaconda之类的存在,我们都不太好定位到底是哪里的.pyc文件出了错,解决方法也很简单,在一个大的目录下,终端打开,运行:
2022-09-10 11:32:30 5395 3
原创 怎样在LaTeX中方便输入带圆圈的数字
我也是同感,不教会别人怎么用,说那么多有什么意义?第一个\normalsize指定了圆圈的大小,后面一个\normalsize是为了使正文中的其他字体恢复正常。如果使用\textcircled,数字编号大的时候,数字会跑到圆圈外面。最后给出一个具体示例,大家看看便知,再吐槽一下,写博客是为了帮助大家解决问题,不是炫自己的知识,第一篇博客我看了好久,还是不会用。小四号 12pt 4.2175mm \normalsize。四号 13.75pt 4.83mm \large。
2022-09-03 12:28:34 18750 5
ToSEM 2013-ACM Transactions on Software Engineering and Methodology 2013年论文集
2014-01-13
CCS 2013-ACM Conference on Computer and Communications Security 2013年论文集
2013-12-24
ASE 2013-International Conference on Automated Software Engineering 2013
2013-11-25
SOSP 2013-ACM Symposium on Operating Systems Principles 2013年论文集
2013-11-22
SIGCOMM 2013-ACM SIGCOMM conference on Data communication 2013论文集
2013-09-20
SS 2013-USENIX Security Symposium 2013年论文集
2013-08-31
SP 2013-IEEE Symposium on Security & Privacy 2013年论文集
2013-06-08
NDSS 2013-ISOC Network and Distributed System Security Symposium 2013
2013-05-01
POPL 2013-Annual Symposium on Principles of Programming Languages 2013
2013-03-26
CSUR 2012-ACM Computing Surveys 2012
2013-02-05
ASPLOS 2012-International conference on ASPLOS 2012
2013-01-20
OOPSLA 2012-Object oriented programming systems languages and applications 2012
2013-01-16
IEEE TDSC 2012-IEEE Transactions on Dependable and Secure Computing 2012
2013-01-06
FSE 2012-International Symposium on the Foundations of Software Engineering 2012
2012-12-29
CCS 2012-ACM Conference on Computer and Communications Security 2012年论文集
2012-12-18
OSDI 2012-Operating Systems Design and Implementation 2012年论文集
2012-11-16
ICSE 2012-International Conference on Software Engineering 2012
2012-10-31
SIGCOMM 2012-ACM SIGCOMM conference on Data communication 2012论文集
2012-09-16
ISSTA 2012-International Symposium on Software Testing and Analysis 2012年论文集
2012-09-13
PLDI 2012-ACM SIGPLAN conference on PLDI 2012
2012-09-11
SS 2012-USENIX Security Symposium 2012年论文集
2012-08-14
SP 2012-IEEE Symposium on Security & Privacy 2012年论文集
2012-07-21
POPL 2012-Annual Symposium on Principles of Programming Languages 2012
2012-05-09
POPL 2012-Annual Symposium on Principles of Programming Languages 2012论文集
2012-05-09
NDSS 2012-ISOC Network and Distributed System Security Symposium 2012
2012-04-21
IMC 2011-Annual conference on Internet measurement 2011
2012-03-22
POPL 2011-Annual Symposium on Principles of Programming Languages 2011论文集
2012-03-14
OOPSLA 2011-Object oriented programming systems languages and applications 2011
2012-02-19
SOSP 2011-ACM Symposium on Operating Systems Principles 2011年论文集
2012-02-02
CCS 2011-ACM Conference on Computer and Communications Security 2011年论文集
2012-01-28
FSE 2011-Foundations of Software Engineering 2011年论文集
2012-01-19
SIGCOMM 2011-ACM SIGCOMM conference on Data communication 2011论文集
2012-01-05
IMC 2010-Annual conference on Internet measurement
2011-11-03
ICSE 2011-International Conference on Software Engineering
2011-10-20
PLDI 2011-ACM SIGPLAN conference on PLDI 2011
2011-09-25
ISSTA 2011-International Symposium on Software Testing and Analysis
2011-09-18
CCS 2010-ACM Conference on Computer and Communications Security 2010年论文集
2011-09-14
SS 2011-USENIX Security Symposium 2011年论文集
2011-09-08
NFM 2010-NASA Formal Methods Symposium 2010 论文集
2011-08-22
SIGCOMM 2010-ACM SIGCOMM conference on Data communication 2010
2011-08-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人