- 博客(65)
- 收藏
- 关注
RSS订阅原创 让香橙派AI Pro用上SSD
与现在主流的M2 Nvme SSD硬盘不同，当时用的还是SATA硬盘。还有一种方法，就是按照手册的方法将Linux镜像烧录到SATA SSD里面去，然后设置好拨码开关后，使用SSD启动香橙派系统。下面张小白有2个选择，一个是像使用rock5A和小藤那样，把SSD硬盘作为一个数据盘使用。俗话说，人尽其才、机尽其用。跟现在动辄几千MB/秒的速度相比，读500写270的速度已经是小巫见大巫了。这样，就可以把SSD硬盘当作数据盘使用了。于是这台机器很自然的就能跑很多大模型了。果然119.24G的SSD硬盘出现了。
2024-02-19 04:42:22
854
1
原创 一个差点返修的香橙派AIPro
当然，后来发现，这张TF卡上有很多分区。张小白就感觉到有点不大妙，然后就听说群里纷纷在聊AI Pro会自动休眠的问题。那对于穷逼张小白，他还需要买散热风扇嘛？于是，张小白再次开机之后，过了一阵子，香橙派貌似也休眠了。那它是怎么被拨过去的？（可能是它自己想过去的。机智的小伙伴突然发现：你的拨码开关为啥不是两个右？然后再插入TF卡槽，开启电源，现象依然如此。细心的群友们让我拍下这个貌似去世的开发板。不然张小白真的申请返修了。输入HwHiAiUser和Mind@123。张小白在群里嘟囔着：要返修了，要返修了。
2024-02-19 04:38:40
598
原创 香橙派AI Pro初体验
使用npu-smi info可以查看昇腾芯片NPU卡的信息，上图显示，Device为310B4，芯片温度为55度，总内存为15.6G，已使用1.67G左右。现在推出的产品仅支持8TOPS算力，有8G和16G的两种版本，鉴于张小白在使用Atlas 200DK和Atlas 200I DK A2上的经验和教训，决定购买16G的版本。内存16G，还剩13G左右，swap空间为0，存储59G，还剩43G左右。先准备好SD卡，官方由于延迟发货，赠送了一张64G的TF卡，将其插入TF卡转接头，然后接入电脑，开始制卡。
2024-02-19 04:34:38
1335
原创 大模型部署手记（19）Ubuntu+JupyterLab+Nemo+Llama2+llama-index+语音对话机器人
Ubuntu+JupyterLab+Nemo+Llama2+llama-index+语音对话机器人
2023-10-31 07:09:50
208
原创 大模型部署手记（18）Windows+JupyterLab+Nemo+Llama2+llama-index+语音对话机器人
Windows+JupyterLab+Nemo+Llama2+llama-index+语音对话机器人
2023-10-31 07:04:32
390
原创 大模型部署手记（17）7个大模型+Windows+LongChain-ChatChat
硬件环境：暗影精灵7PlusWindows版本：Windows 11家庭中文版 Insider Preview 22H2内存 32GGPU显卡：Nvidia GTX 3080 Laptop （16G）
2023-10-17 14:02:28
4350
2
原创 大模型部署手记（16）ChatGLM2+Ubuntu+LongChain-ChatChat
组织机构：智谱/清华模型：THUDM/chatglm2-6b Embedding 模型moka-ai/m3e-base硬件环境：暗影精灵7PlusUbuntu版本：18.04内存 32GGPU显卡：Nvidia GTX 3080 Laptop （16G）
2023-10-17 13:59:38
994
2
原创 大模型部署手记（15）LLaMa2+Ubuntu18.04+privateGPT
组织机构：Meta（Facebook）模型：llama-2-7b下载：使用download.sh下载或Huggingface.co或aliendao.cn下载硬件环境：暗影精灵7PlusUbuntu版本：18.04内存 32GGPU显卡：Nvidia GTX 3080 Laptop （16G）
2023-10-17 13:57:23
1205
原创 大模型部署手记（14）Chinese-LLaMA-Alpaca-2+Ubuntu+vLLM
组织机构：Meta（Facebook）模型：chinese-alpaca-2-7b-hf下载：使用百度网盘下载硬件环境：暗影精灵7PlusUbuntu版本：18.04内存 32GGPU显卡：Nvidia GTX 3080 Laptop （16G）
2023-10-17 13:55:14
1056
原创 大模型部署手记（13）LLaMa2+Chinese-LLaMA-Plus-2-7B+Windows+LangChain+摘要问答
这里需要重装一下GPU版的torch再来：貌似字符集有什么问题。参考Python读取文件时出现UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte 0x80 in position ...blog.csdn.net/qq_31267769/article/details/109128882将 langchain_sum.py改为再来：缺protobuf库？再来：再来：
2023-10-10 14:20:29
6103
原创 大模型部署手记（12）LLaMa2+Chinese-LLaMA-Plus-2-7B+Windows+text-gen+中文对话
组织机构：Meta（Facebook）模型：chinese-alpaca-2-7b-hf下载：使用百度网盘下载硬件环境：暗影精灵7PlusWindows版本：Windows 11家庭中文版 Insider Preview 22H2内存 32GGPU显卡：Nvidia GTX 3080 Laptop （16G）从的README.md可以看出，中文LLaMA&Alpaca大模型支持不同的LLaMA生态：这里面有llama.cppLangChainprivateGPTvLLM等多种。
2023-10-10 13:27:07
835
原创 大模型部署手记（11）LLaMa2+Chinese-LLaMA-Plus-2-7B+Windows+llama.cpp+中文对话
组织机构：Meta（Facebook）模型：LIama-2-7b-hf、Chinese-LLaMA-Plus-2-7B下载：使用huggingface.co和百度网盘下载硬件环境：暗影精灵7PlusWindows版本：Windows 11家庭中文版 Insider Preview 22H2内存 32GGPU显卡：Nvidia GTX 3080 Laptop （16G）查看新的模型出来了，可以试一试。
2023-10-10 13:15:44
1457
2
原创 大模型部署手记（10）LLaMa2+Chinese-LLaMA-Plus-7B+Windows+llama.cpp+中英文对话
组织机构：Meta（Facebook）模型：llama-2-7b、llama-2-7b-chat（下载：使用download.sh下载硬件环境：暗影精灵7PlusWindows版本：Windows 11家庭中文版 Insider Preview 22H2内存 32GGPU显卡：Nvidia GTX 3080 Laptop （16G）在完成和的基础上，张小白觉得对话应该是水到渠成的事情了。
2023-10-10 13:14:46
12238
原创 大模型部署手记（9）LLaMa2+Chinese-LLaMA-Plus-7B+Windows+llama.cpp+中文文本补齐
组织机构：Meta（Facebook）模型：llama-2-7b、Chinese-LLaMA-Plus-7B（chinese_llama_plus_lora_7b）下载：使用download.sh下载硬件环境：暗影精灵7PlusWindows版本：Windows 11家庭中文版 Insider Preview 22H2内存 32GGPU显卡：Nvidia GTX 3080 Laptop （16G）在一文中，张小白完成了基于原始 llama-2-7b 模型的文本补齐。
2023-10-10 13:13:45
3564
原创 大模型部署手记（8）LLaMa2+Windows+llama.cpp+英文文本补齐
组织机构：Meta（Facebook）模型：llama-2-7b下载：使用download.sh下载硬件环境：暗影精灵7PlusWindows版本：Windows 11家庭中文版 Insider Preview 22H2内存 32GGPU显卡：Nvidia GTX 3080 Laptop （16G）
2023-10-10 13:12:30
8623
1
原创 使用Jetson AGX Orin进行口罩识别
在https://gitee.com/gpus/maskDetection_jetson代码仓有个口罩识别的案例，我们来看看能不能在Jetson AGX Orin上搞定。先将该代码仓fork到自己的代码仓（以便魔改）回到自己的代码仓：根据README.md来操作吧！首先需要下载darknet框架并安装，但是众所周知，github不是很友好。所以还是把https://github.com/AlexeyAB/darknet通过gitee来过渡：https://...
2023-10-10 13:09:53
385
原创 大模型部署手记（3）通义千问+Windows GPU
大模型部署手记（3）通义千问+Windows GPU 暗影精灵7Plus Nvidia GTX 3080 Laptop
2023-10-05 11:40:37
2572
1
原创 大模型部署手记（2）baichuan2+Windows GPU
大模型部署手记（2）baichuan2+Windows GPU 暗影精灵7Plus Nvidia GTX 3080 Laptop
2023-10-05 11:38:15
1788
1
原创 大模型部署手记（1）ChatGLM2+Windows GPU
大模型部署手记（1）ChatGLM2+Windows GPU 暗影精灵7Plus Nvidia GTX 3080 Laptop
2023-10-05 11:35:35
313
原创 【MindSpore易点通·漫游世界】在Jetson AGX Orin上源码编译安装MindSpore 1.8.0 GPU版
下载mindspore r1.8分支源码：git clone http://gitee.com/mindspore/mindspore.git -b r1.8修改 mindspore/scripts/build/build_mindspore.sh：在Xoff那一行增加 -DENABLE_GITEE=ON 强制使用gitee因为gcc7.3.0好像被破坏了，所以重新源码编译下：cd /home/zhanghuiln -s /home1/zhanghui/gcc-7.3.0cd /home1/zhanghu
2022-07-12 15:33:15
470
1
原创 【MindSpore易点通·漫游世界】在Jetson AGX Orin上源码编译安装MindSpore 1.7.0 GPU版
先将 gcc和g++的软连接都指向 /usr/bin/gcc-9和 /usr/bin/g++-9然后下载mindspore 1.7的源码包：接着修改build_mindspore.sh如上图所示，箭头处增加 -DENABLE_GITEE=ON执行 ./build.sh -e gpu -j12 开始编译。。。。编译得非常顺利，让张小白有点觉得不可思议。张小白几乎忘记了现在到底是用什么Python版本编译的：原来是Python 3.9看看编译的结果：创建一个新的conda环境：查看下版本：于是开始安装：pip
2022-07-12 15:26:25
436
原创 2022CUDA夏季训练营Day5实践
前情回顾：2022CUDA夏季训练营Day1实践https://zhanghui-china.blog.csdn.net/article/details/1257114422022CUDA夏季训练营Day2实践https://zhanghui-china.blog.csdn.net/article/details/1257117672022CUDA夏季训练营Day3实践https://zhanghui-china.blog.csdn.net/article/details/1257119142022CUDA
2022-07-10 22:59:42
350
原创 2022CUDA夏季训练营Day4实践
前情回顾：2022CUDA夏季训练营Day1实践http://https://zhanghui-china.blog.csdn.net/article/details/125711442 2022CUDA夏季训练营Day2实践https://zhanghui-china.blog.csdn.net/article/details/1257117672022CUDA夏季训练营Day3实践https://zhanghui-china.blog.csdn.net/article/details/1257119
2022-07-10 22:38:05
369
原创 2022CUDA夏季训练营Day3实践
前情回顾：https://blog.csdn.net/snmper/article/details/125711442今天是第三天，主题是Event，Memory和Shared Memory。我们先来看第一个——Event。Event是CUDA中的事件，用于分析、检测CUDA程序中的错误。一般我们会定义一个宏：并在适当的位置使用这个宏来打印CUDA的错误日志。注：辅导员欢老师提出，#pragma once, 不要放在源代码文件里，这个一般只放在头文件里的。（防止头文件被引入多次）具体的调用过程
2022-07-10 22:17:59
246
原创 2022CUDA夏季训练营Day2实践
前情回顾：https://blog.csdn.net/snmper/article/details/125711442CUDA训练营第二天的主题就是CUDA（这不是废话，难道是CRUD）上午介绍了CUDA线程层次的概念，下午介绍了CUDA的矩阵乘法的实现。线程层次的概念：简单说，就是一个grid有多个block,一个block有多个thread.grid有多大，用gridDim表示它有多少个block，具体分为gridDim.x, gridDim.y，gridDim.z。block有多大，用blockDi
2022-07-10 22:06:18
336
5
原创 2022CUDA夏季训练营Day1实践
张小白曾经成功地运行了第一个CUDA程序：https://bbs.csdn.net/topics/607184868但是对其只是知其然不知其所以然。所以CUDA训练营是帮你知其所以然的。我们把 CPU,内存这块区域叫做“主机（HOST）”，把GPU，显存这块区域叫做“设备（DEVICE）”。CUDA的代码执行包含以下几步：简述一下，就是 host_to_device-》在device上并行计算-》device_to_host。cuda程序其实是一个对C的扩展程序。其后缀名为.cu，如果头文件则为.cu
2022-07-10 21:56:47
360
1
原创 【MindSpore易点通·漫游世界】在WSL的Ubuntu 22.04上一键安装MindSpore GPU 1.7.0踩坑记
近期张小白的周边发生了如下大事：（1）2022年4月，ubuntu推出22.04版本。（2）MindSpore推出自动安装脚本（3）张小白写过 【MindSpore易点通·漫游世界】在WSL的Ubuntu 20.04上一键安装MindSpore GPU 1.6.1_张小白TWO的博客-CSDN博客（4）MindSpore推出 1.7.0版本。所以，张小白打算使用WSL的ubuntu 22.04自动安装MindSpore GPU 1.7.0版本。先安装WSL ubuntu 22.04版本，其实这个安装过程跟
2022-06-30 20:56:02
539
原创 【MindSpore易点通·漫游世界】在Jetson Nano上安装MindSpore 1.6.0 CPU版
尽管在官网，MindSpore没有CUDA10的aarch64版本。（注：当时时刻为2022年2月）只有aarch的CPU版本：Python的版本也只有3.6.9。但是作为昇思开发者的张小白，仍然想在Nano的CPU上跑一下MindSpore试试。于是，张小白心想：应该先装anaconda for aarch64，这样才能让Nano上有Python3.7.5。打开 https://www.anaconda.com/products/individual复制ARM64的安装链接：wget https://re
2022-06-28 21:42:52
332
原创 【MindSpore易点通·漫游世界】在WSL的Ubuntu 20.04上一键安装MindSpore GPU 1.6.1
有朋友使用Ubuntu 20.04裸机尝试了一键安装MindSpore 1.6.1的版本。那么，张小白也试一下吧。首先，你需要一个ubuntu 20.04.在有了ubuntu 18.04的WSL的基础上，怎么才能共存一个Ubuntu 20.04.想必先要把18.04关机。打开PowerShell的管理员模式：先下掉WSL：wsl --shutdown打开Microsoft Store:查找 ubuntu 20.04.4 LTS:请忽视下面的低分评价。让我们点击获取按钮。耐心等待下载完毕。直到可以打开：那就打
2022-06-22 22:03:10
571
原创 【MindSpore易点通·漫游世界】MacOS安装MindSpore 1.2.0rc
【MindSpore漫游世界】MindSpore MacOS版安装教程复现：跟着张小白带你玩转安装～
2022-06-21 23:02:54
644
原创 【MindSpore易点通·漫游世界】MindSpore CPU版安装教程复现（以MindSpore 1.6.1为例）
【MindSpore漫游世界】MindSpore CPU版安装教程复现：https://bbs.huaweicloud.com/forum/thread-185129-1-1.html 跟着张小白带你玩转安装～
2022-06-21 22:44:29
379
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人