- 博客(33)
- 收藏
- 关注
RSS订阅原创 我的创作纪念日
成为创作者，源于亚马逊AWS的Codewhisperer，现在它已改名叫Amazon Q 了，但我对CSDN的创作热情还是一如既往。简单来说，就是打开灵犀X1的脑子（里面本来是空的），把手机装进去，用性价比更高、功能更丰富、算力更强、普及率更广的手机，来当它的脑子。有了这个开源，我们就可以基于智元的核心组件，打造自己的人形机器人产品，并借助开源代码快速完成整机工程，降低了研发成本和门槛。这一年来，收获了358个粉丝，498个赞，更多的是对自我价值的实现，让我成为了一个斜杠中年。这次开源的是智元家的。
2024-10-24 20:27:28
437
原创 1024福利又来了，告诉你一个小秘密！树莓派跑LLM难上手？也许你可以试试Intel哪吒开发板
随着技术的发展和边缘计算的兴起，现在有潜力在更小巧、便携的设备上部署LLM。例如，Raspberry Pi 树莓派和 Intel 哪吒开发套件等单片机。尽管体积小巧，但它们具备足够的能力运行某些精简版本的模型。本文就两款单片机上运行LLM做一个对比，先尝试在Raspberry Pi 4B运行大模型，然后将该方案在Intel哪吒开发板重建。
2024-10-24 12:53:20
896
原创 树莓派 5 代哪吒开发板套件，谁是你的菜？
台风“贝碧嘉”在上海浦东临港新城登陆了，外面刮着怒吼的狂风，倾盆的大雨宣泄着“贝碧嘉”的威力。瑟瑟发抖的人类，蜷缩在呜呜作响的出租屋的角落，看着抢购一空的奥乐齐货架，失望地关掉微信小程序，默默地掏出了开发板。感谢Intel的“走近开发者”活动，给了我这个试用的机会。之前是玩树莓派，还有行空板。但苦于他们俩的计算性能实在赶不上现在LLM大模型的变态算力需求。我也一直在寻找替代方案，正巧这时候参加了Intel和微软联合举办的开发者活动，很幸运获得了这个试用机会。看到之前已经有很多人写了开箱和试用报告，由于时间原
2024-09-16 22:23:42
1186
原创 五一假期Llama 3之初体验不完全攻略（Part 1)
2024年4月18日，Meta AI 正式宣布推出 Llama 3，这标志着开源大型语言模型（LLM）领域的又一重大进步。如同一颗重磅炸弹， Llama 3 以其卓越的性能和广泛的应用前景，预示着 AI 技术的新时代。目前开源的是Llama3 8B 和 70B，趁着五一小长假，别人在外人从众，我在家偷偷魔改Llama3。
2024-05-02 10:31:35
786
原创 五一假期Llama 3之魔改不完全攻略（Part 2)
2024年4月18日，Meta AI 正式宣布推出 Llama 3，这标志着开源大型语言模型（LLM）领域的又一重大进步。如同一颗重磅炸弹， Llama 3 以其卓越的性能和广泛的应用前景，预示着 AI 技术的新时代。目前开源的是Llama3 8B 和 70B，趁着五一小长假，别人在外人从众，我在家偷偷魔改Llama3。
2024-05-02 10:31:14
1019
原创 上海人工智能实验室的书生·浦语大模型学习笔记（第七课）
书生·浦语是上海和商汤科技联合研发的一款大模型，这次有机会参与试用，特记录每日学习情况。今天学习的是评测。
2024-04-23 20:07:05
1133
原创 上海人工智能实验室的书生·浦语大模型学习笔记（第六课）
书生·浦语是上海人工智能实验室和商汤科技联合研发的一款大模型，这次有机会参与试用，特记录每日学习情况。今天学习的是Lagent & AgentLego 智能体应用搭建。 AgentLego 是一个提供了多种开源工具 API 的多模态工具包，旨在像是乐高积木一样，让用户可以快速简便地拓展自定义工具，从而组装出自己的智能体。通过 AgentLego 算法库，不仅可以直接使用多种工具，也可以利用这些工具，在相关智能体框架（如 Lagent，Transformers Agent 等）的帮助下，快速构建可以增强大语言
2024-04-22 19:56:37
350
原创 上海人工智能实验室的书生·浦语大模型学习笔记（第五课）
模型部署是指将训练好的模型在特定环境中运行的过程，以便将其应用到实际生产中。这个过程需要解决模型框架兼容性和运行速度的问题。LMDeploy是一个用于部署大模型的工具箱，由上海人工智能实验室开发。它使用C++/CUDA进行推理，并对外提供Python/gRPC/HTTP接口和WebUI界面。LMDeploy支持tensor parallel分布式推理，并支持fp16/weightint4/kv cache int8量化。LMDeploy的核心功能包括量化、TurboMind和推理服务。
2024-04-19 12:43:10
861
原创 上海人工智能实验室的书生·浦语大模型学习笔记（第四课）
Finetune中文译为“微调”，深度学习中需要在深层网络中不断进行训练更新模型的参数（权重）拟合能实现预期结果的模型。“微调”的原理就是利用已知的网络结构和已知的网络参数，修改output层为我们自己的层，微调最后一层前的若干层的参数，这样就有效利用了。
2024-04-16 20:22:33
1018
原创 上海人工智能实验室的书生·浦语大模型学习笔记（第三课——下篇）
书生·浦语是上海和商汤科技联合研发的一款大模型，这次有机会参与试用，特记录每次学习情况。
2024-04-12 21:53:42
903
原创 上海人工智能实验室的书生·浦语大模型学习笔记（第三课——上篇）
t=N7T8OpenXLab浦源 - 应用中心应用中心提供应用托管的服务，用户只需遵循平台规范，通过简单的前端封装组件（Gradio）即可构建模型推理应用演示demo，应用中心提供免费应用部署的能力，普通用户也可在应用中心中交互式体验模型的能力，更好帮助用户寻找想要的学术模型或应用服务。通过前端封装组件和平台的SDK工具，帮助AI开发者简单快速构建人工智能应用。
2024-04-11 23:00:09
871
原创 清明时节雨纷纷，AI达人用Bedrock（第一季）
今天是清明小长假第一天，没有外出踏青，在家体验是专门为创新者量身打造的平台，提供了构建生成式人工智能应用程序所需的一切。这次我主要尝试的是通过里的进行AI绘画。其实我最初冲着Claude 3去的，但可惜无法使用，被欺骗了感情！好在是一项完全托管的服务，通过单个 API 提供来自AI21 LabsAnthropicCohereMeta和等领先人工智能公司的高性能基础模型（FM），以及通过安全性、隐私性和负责任的 AI 构建生成式人工智能应用程序所需的一系列广泛功能。
2024-04-04 22:32:41
884
原创 上海人工智能实验室的书生·浦语大模型学习笔记（第二期第一课之下篇）
传统的预训练策略主要依赖于大规模语料库的迭代训练，然而，这种方法在模型规模不断扩大时，面临着训练效率低下、计算资源消耗巨大等问题。为此，InternLM2提出了进化式预训练策略——InternEvo。
2024-03-30 22:46:52
673
原创 上海人工智能实验室的书生·浦语大模型学习笔记（第二期第一课之上篇）
在人工智能的发展道路上，大模型无疑成为了重要的突破口。从专用模型到通用大模型，它们在解决特定任务和应对多种任务、多种模态方面都展现出了强大的能力。本文记录书生浦语大模型的开源历程及其全链路开源体系。
2024-03-30 22:06:06
725
原创 驾辰龙跨Llama持Wasm，玩转Yi模型迎新春
今年新年很特别，AI工具添光彩。今天就来感受下最新的AI神器天选组合“WasmEdge+Yi-34B”，只要，为这个甲辰龙年带来一份九紫离火运的科技感。
2024-03-02 20:16:45
1825
原创 驾辰龙跨Llama持Wasm，玩转Yi模型迎新春
今年新年很特别，AI工具添光彩。今天就来感受下最新的AI神器天选组合“WasmEdge+Yi-34B”，只要，为这个甲辰龙年带来一份九紫离火运的科技感。
2024-02-18 09:52:45
593
原创 RUST学习笔记（Day 2）
Tensor 为我们提供了一种通用的方式来描述 n 阶数组的扩展。0阶的Tensor可以理解为标量，1阶的Tensor是向量，2 阶的Tensor就是矩阵。Tensor类型有多个，比如PyTorch框架中的Tensor，本次学习的Tensor来自HuggingFace开发的Candle框架。
2024-02-18 09:34:22
660
原创 RUST学习笔记（Day 3）
今天学习用Rust来实现开源 LLM代表LLaMA模型。本次使用的是karpathy/llama2.c: Inference Llama 2 in one file of pure C 的 Rust 实现的版本中的：danielgrittner/llama2-rs: LLaMA2 + Rust。仅涉及部份。
2024-02-18 09:33:03
939
原创 驾辰龙跨Llama持Wasm，玩转Yi模型迎新春过大年（下篇）
大年初二，看春晚迎新年。今年新年很特别，AI工具添光彩。今天就来感受下最新的AI神器天选组合“WasmEdge+Yi-34B”，只要，为这个甲辰龙年带来一份九紫离火运的科技感。书接上回，我们顺利地安装了runtime 以及 ggml plugin，将OpenBayes端口映射到了本地，启动了chatbot UI，现在可以愉快地和Yi玩耍了，让它给这个龙年春节创作一首祝福的微信、或者一个广告宣传文案、或者一首歌曲，只要你想得到，都可以让模型来创作。
2024-02-11 20:51:33
954
1
原创 驾辰龙跨Llama持Wasm，玩转Yi模型迎新春过大年（上）
大年初一，看着春晚迎新年。今年新年很特别，AI工具添光彩。今天就来感受下最新的AI神器天选组合“WasmEdge+Yi-34B”，只要，为这个甲辰龙年带来一份九紫离火运的科技感。
2024-02-11 16:18:21
1039
2
原创 第一期书生·浦语大模型实战营学习汇总
我觉得要再加一重角色，程序员，心态要放空，终身学习，才赶得上这个时代的变化。大型语言模型（LLM）是一种基于深度学习技术的自然语言处理工具，它通过大量文本数据的训练，能够生成自然语言文本或理解语言文本的含义，具有重要的应用价值。“微调”的原理就是利用已知的网络结构和已知的网络参数，修改output层为我们自己的层，微调最后一层前的若干层的参数，这样就有效利用了。“微调”的原理就是利用已知的网络结构和已知的网络参数，修改output层为我们自己的层，微调最后一层前的若干层的参数，这样就有效利用了。
2024-01-29 15:28:00
932
原创 上海人工智能实验室的书生·浦语大模型学习笔记及作业--day6
书生·浦语是上海和商汤科技联合研发的一款大模型，这次有机会参与试用，特记录每日学习情况。此前听过一个说法，身为社畜，要在江湖立足，须有两重角色，商人和公务。一是要脸皮厚，经得起折腾，二是要能忍，藏住内心，低调行事。我觉得要再加一重角色，程序员，心态要放空，终身学习，才赶得上这个时代的变化。学习要学三方面，技术是一，更重要的是理财、养生。技术是谋生手段，是财富的源泉。
2024-01-27 10:25:29
1087
原创 上海人工智能实验室的书生·浦语大模型学习笔记及作业--day5
模型部署是指将训练好的模型在特定环境中运行的过程，以便将其应用到实际生产中。这个过程需要解决模型框架兼容性和运行速度的问题。LMDeploy是一个用于部署大模型的工具箱，由上海人工智能实验室开发。它使用C++/CUDA进行推理，并对外提供Python/gRPC/HTTP接口和WebUI界面。LMDeploy支持tensor parallel分布式推理，并支持fp16/weightint4/kv cache int8量化。LMDeploy的核心功能包括量化、TurboMind和推理服务。
2024-01-26 20:31:46
1076
1
原创 上海人工智能实验室的书生·浦语大模型学习笔记及作业--day4
Finetune中文译为“微调”，深度学习中需要在深层网络中不断进行训练更新模型的参数（权重）拟合能实现预期结果的模型。“微调”的原理就是利用已知的网络结构和已知的网络参数，修改output层为我们自己的层，微调最后一层前的若干层的参数，这样就有效利用了。
2024-01-26 09:03:26
857
1
原创 上海人工智能实验室的书生·浦语大模型学习笔记--day3
大型语言模型（LLM）是一种基于深度学习技术的自然语言处理工具，它通过大量文本数据的训练，能够生成自然语言文本或理解语言文本的含义，具有重要的应用价值。它提供了丰富的组件和工具，简化了应用程序的开发过程，并提供了与外部资源的集成能力，使得应用程序更加灵活和功能强大。
2024-01-18 23:13:12
1002
1
原创 第三节课作业
选择一个垂直领域，收集该领域的专业资料构建专业知识库，并搭建专业问答助手，并在。复现课程知识库助手搭建过程。1、构建联邦学习的向量数据库。2、联邦学习专业问答助手。
2024-01-14 18:57:28
479
1
原创 第二次课程作业
2、熟悉 hugging face 下载功能，使用。2、完成 Lagent 工具调用 Demo 创作部署。的 config.json 文件到本地。1、完成浦语·灵笔的图文理解及创作部署。python 包，下载。
2024-01-12 23:04:20
459
1
原创 上海人工智能实验室的书生·浦语大模型学习笔记--day2
lnternLM是一个基于互联网的大型语言模型，它是基于Transformer架构构建的，包含数十亿个参数。
2024-01-12 22:53:31
489
1
原创 上海人工智能实验室的书生·浦语大模型学习笔记--day 1
今天学习了书生·浦语的全链路开源体系，它包括了数据、预训练、微调、部署、评测和应用这六个方面。
2024-01-08 22:44:11
1594
原创 好用且免费的CodeWhisperer，给1024程序员节送礼来了
CodeWhisperer经过数十亿行代码的训练，可以实时生成从代码片段到全函数的代码建议，绕过耗时的编码任务，加速使用不熟悉的API进行的构建。CodeWhisperer支持15种编程语言，包括Python、Java、JavaScript、TypeScript、C#、Go、Rust、PHP、Ruby、Kotlin、C、C++、Shell脚本、SQL和Scala，以及主流的IDE开发工具，包括VS Code、IntelliJ IDEA和Amazon Cloud9。要查看之前的建议，选择向左箭头键。
2023-10-24 22:00:39
13629
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人