笔记
文章平均质量分 60
机器学习是魔鬼
这个作者很懒,什么都没留下…
展开
-
如何在矩池云复现开源对话语言模型 ChatGLM
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。ChatGLM-6B 使用了和 ChatGPT 相似的技术,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。原创 2023-06-26 14:33:17 · 1476 阅读 · 3 评论 -
如何在矩池云上安装和使用 Stata
Stata是一款功能强大的统计分析软件,本文提供了如何在矩池云安装使用 Stata,以及如何在 Jupyter 中使用 Stata 的简要教程。安装 Stata 时需要确保按照官方指南进行操作,Stata 为付费软件,用户需要自己购买相关软件,将软件安装包上传到矩池云网盘,再根据本教程租用机器安装使用。原创 2023-06-15 14:28:56 · 394 阅读 · 0 评论 -
教程|如何将本地环境移植到矩池云实例
手把手教你学会如何将本地环境移植到矩池云的机器!原创 2023-06-12 17:30:07 · 282 阅读 · 0 评论 -
矩池云教程|体验 OpenAI 最近推出的 3D 生成模型 Shap-E!
Shap-E 是由 OpenAI 最近推出的3D生成模型,使用者可以通过简单的文字或图像进行三维模型的生成,OpenAI 认为相比于点云的生成模型Point-E,Shap-E的收敛更快。本文将展示如何在矩池云上体验3D模型生成。原创 2023-05-19 17:21:41 · 1110 阅读 · 0 评论 -
进击的 AI 生成,创造性的新世界!
2022年,AI艺术生成文本生成图像的AI绘画生成器如雨后春笋般涌现,以一幅幅“不明觉厉”的AI作品进入大众视野。从2月Disco Diffusion爆火,仅两个月后OpenAI发布DALL-E 2,谷歌和Meta紧随其后宣布了各自的AI”画家“Imagen和Make-A-Scene,再到7月MidJourney向公众付费开放,8月Stable Diffusion横空出世,AI绘画模型掀起了“人人都是艺术家”的一个个热潮。随之而来的视频生成AI模型更是让“人人都能是导演”。原创 2023-01-05 16:27:15 · 1000 阅读 · 0 评论 -
矩池云上 git clone --recursive 出错,怎么解决
在矩池云操作的时候,如果只是和之前一样,只是在主项目前面加上 github 加速下载地址,我们会发现,clone 主项目是很快,但是递归 clone 子项目的时候,还是会出错。参数,字面理解就是递归的意思,表示 git clone 除了要 clone 我们指定的当前项目外,还会递归的 clone 当前项目所依赖的子项目。文件,里面记录了需要 clone 的子项目,在子项目 github url 前都加上加速地址。进入已经 clone 好的主项目目录,用 vim 指令打开。原创 2022-12-28 14:28:47 · 851 阅读 · 0 评论 -
AI 让观众成为 3D 版《老友记》的导演了?
今年出炉的 3D 方向 AI 项目 SitCom3D,能够自动补齐《老友记》原剧中的三维拍摄空间,用户可以选择主视图、侧视图等不同角度欣赏剧集。镜头的主导权在观众手中,仿佛亲临拍摄片场。原创 2022-12-09 17:54:12 · 1828 阅读 · 0 评论 -
如何在矩池云上安装语音识别模型 Whisper
Whisper 是 OpenAI 近期开源的一个语音识别的模型,研究人员基于 680,000 小时的标记音频数据进行训练,它同时也是一个多任务模型,可以进行多语言语音识别以及语音翻译任务,可以将语音音频转录为所讲语言的文本,以及翻译成英语文本。原创 2022-11-25 14:43:14 · 1927 阅读 · 1 评论 -
矩池云如何自定义端口,访问自己的web项目
本文将向您介绍如何在矩池云租用服务器的时候自定义端口,并将您的 web 项目部署到自定义端口,最后实现在本地通过自定义端口对应链接访问服务。原创 2022-11-16 11:01:52 · 827 阅读 · 0 评论 -
矩池云中如何将程序挂后台运行,断网也不怕
本教程将会教大家如何最快速的解决:如何将自己的python程序挂后台运行?即使关闭电脑/断网了程序依然能在服务器中运行?等问题。1、上传代码,租用机器首先你需根据入门教程:上传数据集&代码到矩池云网盘中的方法将自己的代码和数据上传到矩池云网盘。代码和数据上传完成后,可以继续跟着入门教程:租用一台合适的主机步骤租用一台机器,机器租用、启动成功后,点击租用界面中的Jupyterlab链接。(当然你也可以通过其他ssh方式连接使用服务器)2、使用nohup将程序挂到后台运行2.1 新建Term原创 2022-05-06 10:22:13 · 3506 阅读 · 2 评论 -
在矩池云上练习Docker基础操作
1 租用机器首先你在矩池云机器租用界面,租用一台支持Docker的服务器,目前只有NVIDIA Tesla P100-16GB 公测机器支持docker。机器租用成功后,租用页面会显示服务器ssh连接和自定义端口对应的访问链接(如上图我自定义了一个8888端口)。2 选中一个工具连接服务器你可以选择任意你熟悉的ssh连接工具远程连接服务器,在矩池云支持中心有很多相关教程,如:Pycharm、VScode、Xshell、PuTTY等。3 Docker基本操作3.1 基本查看docker版本原创 2022-04-28 19:07:59 · 1465 阅读 · 0 评论 -
矩池云MATPool-在VNC中安装使用Pycharm
如果你需要在VNC可视化操作界面中使用Pycharm软件,可以看看这篇文章。租用机器首先在矩池云租用一台机器,选择自己需要的镜像后,点击开启VNC按钮。目前大部分镜像都支持VNC功能,并且已经预装了Pycharm,如果你选择的镜像中没有预装Pycharm,可以按本文步骤安装使用。在VNC中安装Pycahrm下载解压Pycharm下面下载安装指令建议大家在JupyterLab中新建一个Terminal执行,比较方便,点击租用界面中的jupyterlab链接,然后点击Terminal,输入下面指原创 2022-04-06 19:33:51 · 1458 阅读 · 0 评论 -
矩池云conda创建指定cuda cudnn tf版本的虚拟环境
本文将介绍如何在矩池云通过conda创建虚拟环境,并安装指定版本的cuda cudnn tf。需求:在矩池云中安装一个虚拟环境,python3.6,tensorflow-gpu1.4,cuda8,cudnn6,opencv-python。正常我们会先去tensorflow官网 https://tensorflow.google.cn/install/source#gpu查看要安装的tf版本对应需要的python cuda cudnn的版本。1、 可以通过ssh远程连接或者直接点击jupyter原创 2022-03-17 17:11:52 · 4688 阅读 · 0 评论 -
矩池云通过本地端口转发方式登陆VNC
使用方法是通过ssh本地端口转发,通过服务器转发到vnc的5901端口,然后通过localhost:本地端口,就可以在VNC Viewer软件中使用:localhost:本地端口登陆vnc了。1、 本地打开终端/CMD,输入下面指令:格式ssh -p [sshport] -NL [localport]:localhost:[vnc远程端口] [email protected]:矩池云机器的 SSH 端口。localport:您本地的任一端口。[email protected]原创 2022-03-17 10:39:27 · 1570 阅读 · 0 评论 -
矩池云上CUDA、nvcc、cuDNN相关操作汇总
CUDA是建立在NVIDIA的CPUs上的一个通用并行计算平台和编程模型,基于CUDA编程可以利用GPUs的并行计算引擎来更加高效地解决比较复杂的计算难题。高效利用GPU并行计算的代码书写规范,可以让我们更灵活的将计算拆解成一个一个子任务,然后分配到不同的线程上。矩池云安装/修改 cuda、cudnn、nvcc、tensorRT 教程矩池云里查看cuda版本矩池云上安装CUDA头文件教程nvcc相关文章nvcc是CUDA的编译器,只是 CUDA Toolkit 中的一部分,安装、查原创 2022-03-11 17:02:51 · 2591 阅读 · 0 评论 -
矩池云里查看cuda版本
可以用下面的命令查看cat /usr/local/cuda/version.txt如果想用nvcc来查看可以用下面的命令nvcc -V如果环境内没有nvcc可以安装一下,教程是矩池云上如何安装nvcc很多人会问为什么nvidia-smi里面的cuda会不一样,接下来我来介绍一下可以看到环境内的CUDA 版本是10.2,而nvidia-smi的CUDA版本是10.0。很奇怪的是有时候绝大多数情况代码也能整成跑起来,stackoverflow上的一个解释如下:CUDA有两个主要的API:原创 2021-10-11 14:48:47 · 201 阅读 · 0 评论 -
矩池云上关于conda的一些使用技巧
关于源的加速和使用bash /public/script/switch_conda_source.sh输入想要切换的源前面的序号,然后按回车,源会自动切换。当然这个地方需要注意的是如果遇到一些国内没有镜像的源可能需要在那个前面加上官方源我这里以RAPIDS官方给出的命令为例conda create -n rapids-21.10 -c rapidsai -c nvidia -c conda-forge \ rapids-blazing=21.10 python=3.7 cudatool原创 2021-10-09 14:43:43 · 427 阅读 · 0 评论 -
如何在矩池云上查看cudnn版本
矩池云下如何查看cudnn版本。原创 2021-10-09 14:10:18 · 312 阅读 · 0 评论 -
在矩池云上复现 CVPR 2018 LearningToCompare_FSL 环境
这是 CVPR 2018 的一篇少样本学习论文:Learning to Compare: Relation Network for Few-Shot Learning源码地址:https://github.com/floodsung/LearningToCompare_FSL环境选用 Tensorflow 1.4 因为他是 cuda8 的。切换conda源bash /public/script/switch_conda_source.sh创建虚拟python环境conda create -原创 2021-09-01 12:13:19 · 234 阅读 · 0 评论 -
如何在矩池云上安装java
在矩池云上安装java其实非常简单,按照下面的办法安装即可apt updateapt install openjdk-11-jdkjava -version完成参考文章如何在 Ubuntu 20.04 上安装 Java原创 2021-08-24 10:58:27 · 169 阅读 · 0 评论 -
在矩池云上复现 PaddleGAN 照片转油画风格教程
我选用的是cuda10.1纯镜像案例来自paddlepaddle官方PaddleGAN库中,可以查看https://github.com/PaddlePaddle/PaddleGAN/安装需要的软件包apt-get install cuda-cusolver-dev-10-1conda install paddlepaddle-gpu==2.1.2 cudatoolkit=10.1 --channel https://mirrors.bfsu.edu.cn/anaconda/cloud/Pad.原创 2021-08-23 17:05:59 · 305 阅读 · 0 评论 -
矩池云上安装AlphaFold教程
apt-get update && DEBIAN_FRONTEND=noninteractive apt-get install -y \ build-essential \ cmake \ git \ hmmer \ kalign \ tzdata \ wget \ && rm -rf /var/lib/apt/lists/*conda create -n alphafold p原创 2021-08-10 14:49:46 · 620 阅读 · 0 评论 -
矩池云上安装 NVCaffe教程
使用的是P100,cuda11.1base镜像创建虚拟环境conda create -n py36 python=3.6conda deactivateconda activate py36安装依赖包apt updateapt-get install libopencv-dev libopenblas-dev libopenblas-base libhdf5-dev protobuf-compiler libgoogle-glog-dev libgflags-dev libprotobuf.原创 2021-08-04 14:18:27 · 414 阅读 · 0 评论 -
矩池云上安装caffe gpu教程
bash /public/script/switch_apt_source.shbash /public/script/switch_conda_source.shapt-get update && apt-get install -y --no-install-recommends \ libboost \ libboost-dev \ libprotobuf-dev \ libgflags-dev \ libgoogle-glog-de.原创 2021-08-03 14:44:51 · 428 阅读 · 0 评论 -
矩池云上复现论文 Neural Graph Collaborative Filtering 环境复现
矩池云上复现论文 Neural Graph Collaborative Filtering 环境复现Neural Graph Collaborative Filtering (NGCF) is a new recommendation framework based on graph neural network, explicitly encoding the collaborative signal in the form of high-order connectivities in user-it原创 2021-08-02 11:15:32 · 309 阅读 · 0 评论 -
矩池云上nvidia opencl安装及测试教程
本教程租用的是2080ti,3.7多框架镜像。添加nvidia-cuda的阿里源curl -fsSL https://mirrors.aliyun.com/nvidia-cuda/ubuntu1804/x86_64/7fa2af80.pub | apt-key add -echo "deb https://mirrors.aliyun.com/nvidia-cuda/ubuntu1804/x86_64/ /" > /etc/apt/sources.list.d/cuda.listapt .原创 2021-07-30 14:49:57 · 707 阅读 · 0 评论 -
矩池云上安装及使用Milvus教程
apt updateapt install -y build-essential ccache gfortran \ libssl-dev zlib1g-dev python3-dev libcurl4-openssl-dev libtbb-dev\ libboost-regex-dev libboost-program-options-dev libboost-system-dev \ libboost-filesystem-dev libboost-serializatio原创 2021-07-23 12:48:28 · 859 阅读 · 2 评论 -
矩池云上安装yolov4 darknet
这里我是用PyTorch 1.8.1来安装的拉取仓库官方仓库git clone https://github.com/AlexeyAB/darknet镜像仓库git clone https://github.com.cnpmjs.org/AlexeyAB/darknet.git安装opencvapt-get updateapt-get install libopencv-dev -y修改Makefile在 /darknet/ 目录下找到 Makefile 进行修改原创 2021-06-24 15:47:26 · 429 阅读 · 0 评论 -
矩池云上安装yolov5并测试
官方仓库:https://github.com/ultralytics/yolov5官方文档:https://docs.ultralytics.com/quick-start/此案例我是租用了k80 镜像选择的是pytorch1.8.1克隆仓库git clone https://github.com/ultralytics/yolov5.git这个地方我用了国内的镜像加速https://github.com.cnpmjs.org/ultralytics/yolov5.git安装需要的环原创 2021-06-24 13:24:21 · 1032 阅读 · 0 评论 -
vscode多开远程链接矩池云服务器
打开自己本地的config,将Host改成不一样的,就可以多开了C:\Users\你自己的用户名\.ssh\config原创 2021-06-23 16:04:33 · 236 阅读 · 1 评论 -
在矩池云上使用A6000/3090跑ikatago说明
因为英伟达30系和a系列对cuda版本的要求是cuda11及以上。https://github.com/kinfkong/ikatago-resources/tree/master/dockerfiles通过查看官方仓库发现有cuda11.1的版本。矩池云上有cuda11.1的镜像可以选用他。详细教程可以查看 矩池云上安装ikatago及链接教程watch -n 1 nvidia-smi...原创 2021-06-23 14:55:41 · 651 阅读 · 0 评论 -
矩池云上安装ikatago及链接教程
https://github.com/kinfkong/ikatago-resources/tree/master/dockerfiles从作者的库中可以看到,该程序支持cuda9.2、cuda10、cuda10.1、cuda10.2、cuda11.1等镜像,矩池云上的镜像基本上都可以满足他的要求,可以任意选用。案例:用的cuda10.2的镜像利用脚本安装cd ~; /bin/bash -c "$(curl -fsSL https://ikatago-resources.oss-cn-beij原创 2021-06-23 14:24:35 · 1519 阅读 · 0 评论 -
矩池云上创建Pytorch 0.41环境
换源sh /public/script/switch_conda_source.sh创建python3.6虚拟环境conda create -n py36 python=3.6.2进入3.6虚拟环境conda activate py36安装pytorchconda install pytorch=0.4.1 cuda90 -c pytorch换源sh /public/script/switch_apt_source.sh按照需要的包apt-get install bui原创 2021-06-18 15:50:41 · 510 阅读 · 1 评论 -
Pycharm远程链接矩池云报错踩坑记录
报错一:can‘t run remote python interpreter报错二、Default server or group of server is not configured.pycharm 连接远程库已ok,但是总是无法自动上传代码。并且在Tools-> Deployment -> Options 选项中出现以下报错Default server or group of server is not configured. Nothing would be uploaded原创 2021-06-18 11:59:38 · 817 阅读 · 0 评论 -
用端口映射的办法使用矩池云隐藏的vnc功能
矩池云隐藏了很多高级功能待用户去挖掘。租用机器进入jupyterlab设置vnc密码VNC_PASSWD="userpasswd" ./root/vnc_startup.sh这里我选择的密码是userpasswd,密码很重要,自己设置一个复杂一点的密码,带入到userpasswd里面。查看vnc进程ps aux | grep vnc打开本地的cmd输入命令启动ssh -p 你的端口 -NL 5901:localhost:5901 [email protected]要原创 2021-05-31 17:34:22 · 536 阅读 · 0 评论 -
如何更省钱的在矩池云上使用pycharm
如果使用的话可以看一下这个教程《PyCharm 使用矩池云机器教程》。第一步、要了解pycharm同步的逻辑是因为pycharm官方限制,必须每次都要同步数据的,不管你在矩池云上有没有那个一模一样的数据,同意会被覆盖。你要同步的东西必须要在一个文件夹下,才能完全被同步上去。矩池云网盘目录是 /mnt第二步、要思考单独上传还是分开上传2.1 如果代码加数据集非常小这种情况用管其他的,直接参考教程链接就OK,如果是同步到网盘下,那么路径改成/mnt/PyCharm_project_***,因为py原创 2021-05-31 16:30:08 · 2067 阅读 · 4 评论 -
矩池云上编译安装dlib库
因为dlib只有Windows版本才可以使用pip、conda安装。所以在矩池云上以Ubuntu的环境下,不能用pip, conda 来装 dlib 。如之前安装失败: 请卸载pip uninstall dlib请使用编译安装apt-get updateapt-get install libboost-all-dev cmakeapt-get install libx11-dev必须先安装 libx11-dev 后安装 dlib 才能成功,如果先装了 dlib, 那么先卸载 dlib,原创 2021-05-25 14:14:25 · 335 阅读 · 0 评论 -
在矩池云上Hugging Face使用清华源
Hugging Face Transformers 是自然语言处理领域的重要开源项目,提供了基于通用架构(如 BERT,GPT-2,RoBERTa)的数千个预训练模型,并提供了 PyTorch 和 TensorFlow 的良好互操作性。我们镜像了 Hugging Face Model Hub,为国内用户下载预训练模型数据提供便利。使用方法注意:transformers > 3.1.0 的版本支持下面的 mirror 选项。只需在 from_pretrained 函数调用中添加 mirror 选原创 2021-05-21 15:33:10 · 1022 阅读 · 0 评论 -
矩池云上使用Visdom可视化图像说明
租用机器添加默认端口点击展开高级选项点击添加端口配置添加Visdom默认端口,选择 http 端口填入 8097进入环境安装并使用JupyterLab 链接 是本次实验用来安装实验的工具HTTP 8097端口 链接 打开是你的Visdom了安装pip install visdom启动python -m visdom.server注意 bash ioloop.install() # Needs to happen before any tornado imports原创 2021-04-23 12:33:47 · 746 阅读 · 2 评论 -
如何在矩池云上运行FinRL-Libray股票交易策略框架
FinRL-Libray 项目:https://github.com/AI4Finance-LLC/FinRL-Library选择FinRL镜像在矩池云-主机市场选择合适的机器,并选择FinRL-Library镜像。登录服务器在租用列表中查看服务器信息,有两种连接登录方式。JupyterLab登录:浏览器访问JupyterLab链接。进入FinRL-Library目录,选择相应的程序运行。运行*.ipynb选择相应的ipynb文件(如FinRL_ensemble_stock_t原创 2021-04-19 14:07:52 · 461 阅读 · 0 评论