- 博客(52)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 把 35B 大模型塞进手机！Termux + 小米眼镜 + Qwen3.5 本地推理实战：把 AI 塞进你的口袋
采用 termux 方案可以分离大模型和具体应用APP，单机可用 127.0.0.1 访问保证安全，跨机协作可以暴露 IP，提供为本地算力，灵活度和兼容性都是最佳。想象一下：没有 API 调用限制，不用担心网络延迟，数据完全本地处理，你的 AI 助手随时待命——这一切，只需要一台安卓手机。问天气，问路线，问建议，问秘密。云端有云端的优势：更强的模型，更多的数据，更低的成本。，AI眼镜作为第一人称视角，有很强的沉浸感，但续航和算力实在太紧张了。地铁隧道里，飞机飞行中，山区露营时，它都在。
2026-03-22 21:48:25
680
原创 基于多模态大模型给现实世界加一本说明书
基于多模态大模型给现实世界加一本说明书前言随着ChatGPT的蓬勃发展，大型模型正深刻地影响着各个行业，技术的飞速发展让人感觉仿佛“度日如年”（每天涌现的新技术数量甚至超过过去一年）。在这个快速发展的潮流中，多模态技术作为行业的前沿更是突飞猛进，呈现出一统计算机视觉（CV）和自然语言处理（NLP）的势头。本文介绍了一款能够迅速解释现实世界的应用，它基于多模态大型模型，为现实世界提供了一本实时说明书...
2024-01-26 02:47:04
1622
原创 ＜span class=“js_title_inner“＞基于多模态大模型给现实世界加一本说明书＜/span＞
BakLLaVA 推理速度更快，但对中文的支持较差，7b的模型在语义理解方面普遍存在不足，特别是在需要规范数据格式进行交互的场合。大模型的推理时长目前仍是最大的障碍，传统目标检测或人脸识别优化后能达到100~300ms，而大模型动则需要10秒的延时，限制了许多场景。该模式能够识别镜头上的目标，支持中英文双语，基本上可以理解场景中的内容，可用作基础的意图识别，也可用于场景内容分析。利用家中的电脑和闲置的手机，以几秒的推理速度，无限的可扩展AI模型和自由设计的架构，还要啥自行车嘛~
2024-01-26 02:47:04
346
原创 基于百川大模型向微信群大佬们虚心学习
前言微信作为国民应用，向来是占用手机空间最多的APP之一，其中历年累积的聊天记录也就蕴含着巨大的信息量。特别在微信群中，经常一转眼的功夫，就累积了几百条的留言。这里充斥着口水，偶尔又蕴藏了真知灼见，既不想错过，又没有时间，若想每个群都看一遍，真心是个苦力活。本篇选用了大佬的聊天群作为数据来源，让大模型帮我们定期自动生成报告，甚至还能将日理万机的某个大佬，请来化身客串一下我们的私人助理。鉴于聊天记录...
2023-09-30 07:01:01
2124
1
原创 ＜span class=“js_title_inner“＞基于百川大模型向微信群大佬们虚心学习＜/span＞
3090上只能跑 7B 或 13B的量化版本的推理，想后续自行微调的，请直接放弃 13B，读入权重就 OOM，自行量化的机会也没有的。首先获取所需的群聊天记录，通过 sql 来筛选需要的内容，然后用传统统计方法来做结构化数据的分析，再把非结构化的数据扔给大模型处理，传统方法适合数理计算，而大模型更擅长归纳汇总，可以组合起来交叉使用。还有更多有趣的场景可以做，比如家长群里提取重要通知，复现已离世的亲人，总结甲方爸爸的需求摘要，鉴定舔狗的含婊量，定位退休群里哪些是”传谣达人“，等等...
2023-09-30 07:01:01
87
原创 ＜span class=“js_title_inner“＞克隆自己的声音——赛博分身必备技能＜/span＞
bark 基于 hubert，采用 类似GPT 的结构，直接由文本生成语音，可以生成很多语气和情绪，也能通过标记加入不同的风格。克隆声音对于社恐来说是一种福利，有效的解决了视频配音和直播的场景，加上翻译功能的加持，同声传译50种语言也不再是梦，而在动画人物和名人的模仿中，普通人更是可以轻松成为一个优秀的声优，会有很多的乐趣，科技点亮生活。采用魔搭的自动标注工具，对原始数据预处理，期间工具会过滤掉背景声音，并将静音的片段删除，标注完成后的数据保存在 output_training_data 下，待训练。
2023-09-18 01:53:29
38
原创 算力焦虑的终极大杀器 —— 分布式训练大模型（一）
前言随着大模型越来越庞大，LLaMA 2 (70B), Guanaco-65B, BLOOM-176B，这些模型的训练要求以远远超过单机可承受的范围。本篇我们介绍一种新技术 「petals」，不同于之前的联邦学习或是传统分布式训练，它能将模型拆分到更小的颗粒度，每个节点仅下载一小片神经网络并行计算，大大加速了训练和推理速度，再也不用羡慕 H100*8 了。另外近期自从遭遇联想售后修坏了3090的主...
2023-08-14 07:30:41
1259
原创 ＜span class=“js_title_inner“＞算力焦虑的终极大杀器 —— 分布式训练大模型（一）＜/span＞
最后可以把自己的 GPU 贡献到池中，众人拾柴火焰高，其中 YOUR_TOKEN_HERE 可以通过 https://huggingface.co/settings/tokens 获取，public_name 则可以起一个别名，便于在服务端找到你的机器。，不同于之前的联邦学习或是传统分布式训练，它能将模型拆分到更小的颗粒度，每个节点仅下载一小片神经网络并行计算，大大加速了训练和推理速度，再也不用羡慕 H100*8 了。部署到算力池中的模型需要遵守一系列的约定，若要运行自定义的模型，则要根据接口来修改参数。
2023-08-14 07:30:41
44
原创 ＜span class=“js_title_inner“＞算力焦虑的终极大杀器 —— 分布式训练大模型（一）＜/span＞
最后可以把自己的 GPU 贡献到池中，众人拾柴火焰高，其中 YOUR_TOKEN_HERE 可以通过 https://huggingface.co/settings/tokens 获取，public_name 则可以起一个别名，便于在服务端找到你的机器。，不同于之前的联邦学习或是传统分布式训练，它能将模型拆分到更小的颗粒度，每个节点仅下载一小片神经网络并行计算，大大加速了训练和推理速度，再也不用羡慕 H100*8 了。部署到算力池中的模型需要遵守一系列的约定，若要运行自定义的模型，则要根据接口来修改参数。
2023-08-14 07:30:41
24
原创 用 ChatGPT 采用自有数据集训练问答机器人
前言最近 LLM 模型很火，chatGPT 涵盖的知识范围之广，令人叹为观止。然而码农肯定不能满足于现有的知识库，要扩展自有数据才能发挥其更大的实用价值。一般来说，深度学习模型大多采用 finetune 的方式来增加训练数据，但 LLM 模型太大了，训练成本过高。无论是离线或是在线训练样本，短时间只有 OpenAI 可为。随着通用大模型的兴起，另外一种被称为 ”前导词注入“ 的提示工程（promp...
2023-04-08 18:23:33
8161
1
原创 从Dao聊到Aragon
前言之前两篇（浅谈区块链DAPP学习和 浅谈区块链DAPP学习·续），我们聊了DAPP以及DAPP的一个简单的投票实现，可能还是有很多非技术类的朋友，他们不理解web3.0这样一种可以拥有的网络到底有什么用。这一篇我准备拿现在国外这几年比较流行DAO聊一下web3.0的未来应用。首先什么是DAODAO是 Decentralized Autonomous Organiza...
2022-04-12 00:53:23
6421
1
原创 浅谈区块链DAPP学习·续
前言 昨天发布了关于自己学习区块链和DAPP的学习小结式的文章，朋友对我提了几点意见说：合约没有身份，一个人可以很多次的投票只要舍得花gas这是个刷票漏洞。仔细想来是有点偷懒了，所以今天补一篇。就两点：1，补上身份认证避免反复投票；2，对web3.0以及他的部署和调用再做一些介绍，其实功能和昨天是一样的但是方法会有所不同。solidity的合约优化 pragma soli...
2022-04-02 12:14:14
6462
原创 浅谈区块链DAPP学习
前言 最近元宇宙火起来了，也一直在和朋友们聊，那什么是元宇宙（VR虚拟现实，现实世界的数字孪生体），然后就有聊到了web3.0，现实的讲元宇宙和web3.0都还是些模糊的感念，但是却都有了一些现实的技术解决方案，今天我不讲元宇宙（其实互联网本身就是无处不在的元宇宙。我不讲是因为VR技术我不太懂，不过现在国内傻瓜化工具已经很多了thingjs，优诺科技都有不错产品，国外就不...
2022-04-01 17:15:06
6409
原创 浅谈AI模型的可解释性、安全性与正义性（下）
前言上两篇讨论了模型的可解释性和安全性，也给出了些解决方案，相对比较硬核，这一篇聊一下人工智能的正义性，虽然通俗很多，但却是最难的部分...正义性AI不作恶Don't Be Evil曾是G...
2022-03-17 09:30:19
3060
原创 浅谈AI模型的可解释性、安全性与正义性（中）
前言上篇谈到可以用 Dalex 来探索和解释模型的具体推理过程，这篇我们继续聊聊 AI 模型在面对歧义性偏差、对抗样本攻击和隐私泄露这些安全性方面遭遇到的挑战。安全性人工智能的安全性是个全...
2022-03-16 08:30:25
7940
1
原创 浅谈AI模型的可解释性、安全性与正义性（上）
前言随着推荐算法引起的信息茧房和自由主义的发展，让这个世界以无与伦比的速度分裂着。一个浅显的好处是打破了原先的单一价值追求，由着不同的价值取向朝着各自平行的元宇宙进发。多元化本身来说是件好...
2022-03-15 08:30:00
1427
原创 微博热搜选股策略
前言这个策略源于群里的一次闲聊，A股是个神奇的市场，谷爱凌夺冠，“远望谷”横空出世！感叹股民的想象力太丰富的同时，是否能根据微博的热搜，把握住下一个涨停的股票呢？别问准不准，我们先整理一下...
2022-02-10 08:00:00
569
原创 当人工智能遇到区块链（二）
前言上回说到，在线Remix不方便调试，这一篇我们就搭建一下本地化环境部署，沿用上一篇里的智能合约和使用场景，从Truffle和Ganache开始配置开发环境。Truffletuffle是...
2022-01-31 00:19:29
7745
原创 用MACD决策树模型预测股票趋势
前言上回说到，可以用LSTM时序模型来预测股票价格，在股票价格技术分析中，MACD作为一个经典的交易指标，一直指导着买卖时机，这篇我们实现一下在这个指标下的决策树模型，来预测未来的股票走势...
2022-01-26 08:00:00
9302
13
原创 用时序模型预测明天的股票价格
前言上次介绍了一个简单的量化交易策略，收到一堆私信询问如何使用深度学习的时序模型，那再抛砖引玉分享一下LSTM模型预测明天价格的方法。LSTM模型长短期记忆(Long short-term...
2022-01-05 07:30:00
4890
3
原创 平民版均线量化交易模型
前言2021年转瞬即逝，回顾一下在蚂蚁上定投的基金，在金融危机风雨欲来的2022年，分享一个懒人版的理财策略，愿大家新年里能财源广进，元旦快乐。基金定投我的策略非常简单，每月无脑小额定投，...
2022-01-01 09:30:00
3761
1
原创 AMD-Vi completion-wait loop timed out?
前言之前一直在Intel平台下部署深度学习训练环境，但近来牙膏厂的CPU性能拉胯，尝试了一下AMD平台，没想到才安装 ubuntu 就翻车了，记录一下故障修复过程。安装失败官网上下载了 u...
2021-12-30 23:55:22
3090
原创 用 asyncio 实现多线程异步多任务的界面操作
前言最近有个项目需要从窗口客户端发起的异步多任务请求，为了长时间后台操作不卡死前台操作，则还需要发起多线程来隔离 UI 主界面事件循环和 asyncio 后台异步任务事件循环。支持库简介1...
2021-10-15 20:07:28
1469
1
原创 AI 专家路线图
人工智能领域的涉及的知识面太广了，学多了以后难免会迷失自己。最近看到一个德国的网站，列出了个AI专家路线图，非常详尽。有了地图在手，就能明确知道缺失的技能点，以及下一步的方向。https:...
2021-03-08 01:16:35
1359
9
原创 用鸿蒙开发AI应用（八）JS框架访问内核层
前言上回说到，用`C++`来写`UI`界面的开发效率不如`JS+HTML`来的高，但设备开发又免不了要通过内核态来操作硬件，这里我们就要先打通从`JS框架`到设备驱动之间的联系。本章基于`...
2021-02-07 00:00:00
831
原创 自动调整图片方向并划窗剪裁
❝最近在“2021广东工业智造创新大赛 智能算法赛：瓷砖表面瑕疵质检” 中遇到一些图片，有不同角度偏差。类似卫星图，分辨率特别大，目标却特别小，这就需要对原始图片自动调整角度，划窗剪裁和...
2021-01-30 19:00:00
1309
2
原创 修复 V100 驱动不匹配问题
最近打比赛，登录 V100 的训练环境，突然发现没法用 cuda 了，记录一下修复过程。显示 Failed to initialize NVML: Driver/library vers...
2021-01-20 17:53:17
1858
原创 用鸿蒙开发AI应用（七）触摸屏控制LED
前言上一篇，我们体验了一下鸿蒙上的界面的开发流程，这一篇我们继续深入一点点，尝试打通从用户态UI到内核态HDF之间的联系。其中涉及到的调用关系比较复杂，建议在“用鸿蒙开发AI应用（五）H...
2021-01-10 09:35:37
1937
原创 用鸿蒙开发AI应用（六）UI篇
前言上一篇，我们在鸿蒙上写了一个HDF驱动并操作了一下LED硬件，这一篇我们来尝试一下构建一个有简单界面的App，体验一下鸿蒙的前端开发流程。环境准备1. 安装DevEco Studio...
2021-01-07 08:00:00
3906
7
原创 用鸿蒙开发AI应用（五）HDF 驱动补光灯
前言上一篇，我们在鸿蒙上运行了第一个程序，这一篇我们来编写一个驱动开启摄像头的红外补光灯，顺便熟悉一下鸿蒙上的 HDF 驱动开发。硬件准备先查一下原理图（具体可参考第一篇的硬件资料），找...
2020-12-27 07:00:00
1607
6
原创 用鸿蒙开发AI应用（四）Helloworld
前言上一篇，我们把编译和烧录环境都搭建好了，这一篇我们来初探一下鸿蒙OS的应用开发流程。环境准备距我们上次搭建环境有段时间了，先来更新一下开发工具和相关开源代码。1. 更新 DevEco...
2020-12-24 17:48:02
1494
3
原创 用鸿蒙开发AI应用（二）系统篇
前言上回说到，我们电子发烧友论坛申请到一块 HarmonyOS HiSpark AI Camera 开发板，并将其硬件做了一下解读和组装。要在其上编译鸿蒙系统，我们需要同时用到 Windows 系统（烧录）和 linux 系统（编译）。这一篇先介绍一下，在 Win10 系统上用 VMware 安装 Ubuntu 20.04.1，并设置共享目录相互访问，做一些基础准备。安装虚拟机主电脑以 Win10 为基准，先安装 VMware，这里提供一个安装包 VMware-workstation-full-
2020-11-04 01:53:05
3125
原创 用鸿蒙开发AI应用（三）软件篇
前言上一篇，我们在 Win10 上用虚拟机安装了 Ubuntu，并设置了文件共享。这一篇，在此基础上编译鸿蒙os的源码，并进行设备烧录。HarmonyOS 简介1. 系统定义Harmon...
2020-11-01 08:30:00
11289
11
原创 用鸿蒙开发AI应用（二）系统篇
前言上回说到，我们电子发烧友论坛申请到一块 HarmonyOS HiSpark AI Camera 开发板，并将其硬件做了一下解读和组装。要在其上编译鸿蒙系统，我们需要同时用到 Wind...
2020-10-31 08:30:00
6720
6
原创 用鸿蒙开发AI应用（一）硬件篇
前言鸿蒙2.0的系统刚开源出来，华为志在打造1+8+N万物互联的全场景智慧生活，不仅是国产操作系统之梦，一次开发多设备部署也戳中开发者的痛点。这次开源的主要是基于嵌入式实时场景的微内核版...
2020-10-30 19:35:00
16877
12
原创 yolov3 转openvino 并进行本地视频或视频流推理
官方文档https://docs.openvinotoolkit.org/latest/openvino_docs_MO_DG_prepare_model_convert_model_t...
2020-10-15 00:00:00
1349
1
原创 2020技术类博客撰写发布一揽子解决方案
前言最近把公众号里最近的一个专题连载做了一下全网发布，想来自己搬运自己的文章，原稿都在，也就Ctrl+C，Ctrl+V的事情，还是遇到很多的坑，有些心得和体会，写出来与大家分享交流一下撰...
2020-10-14 08:30:00
1160
原创 ubuntu16.04 cuda10.0 配置caffe gpu环境
caffe gpu环境的配置就是一部赤裸裸的血泪史，每次都能遇到很多问题~环境依赖ubuntu 16.04cuda 10.0python 3.5opencv 3.4.10su...
2020-10-13 22:22:18
650
原创 用树莓派4b构建深度学习应用（十四）素描线稿篇
前言上一篇我们完成了一对戴口罩和脱面罩的互补应用，这一篇来看一下最近抖音上看到一个批量提取线稿的视频，掌握其核心原理，我们用 OpenCV 就很容易实现一个更快速的方案。Photosho...
2020-10-12 08:30:00
1014
1
原创 Ubuntu 配置多个版本cuda(10.0、10.1)
很多刚接触深度学习的朋友面临的第一个大坎就是开发环境的配置，经常一折腾就是一两天，更有甚至十天半月也不一定能让代码跑起来，实在是大大滴不友好。环境配置问题一般都是各个框架与cuda版本的...
2020-10-11 15:07:41
3202
2
torchvision-0.7.0a0+78ed10c-cp37-cp37m-linux_armv7l.whl
2021-01-08
torchvision-0.8.0a0+10d5a55-cp37-cp37m-linux_armv7l.whl
2021-01-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人