- 博客(408)
- 资源 (9)
- 收藏
- 关注
原创 FPGA 如何进入 AI 领域的思考
FPGA在AI领域如何发力,如何抢碗饭吃?大多数提到是硬件加速,在AI工程里,完成数据前处理(加速)。大家很少提到AI模型的本身的推理过程,让FPGA成为AI模型的推理/算力芯片,这自然是 FPGA厂商们的梦想。否则,仅仅是加速,那就是个配角。 Intel(ateral)和 AMD(Xlinx) 已做过大量的尝试,但是效果似乎并不好,这是为什么呢?我们仔细来看看原因。 在详细解决部署之前,我们还是先从头讲起,看看重要的历史。
2024-08-22 15:07:51
1003
原创 深度学习的量化和剪枝
如果要将深度学习的AI模型部署到受限设备(FPGA)上,往往需要更小的存储需求和最低的计算复杂度。当然,还得保持一定的性能(下降在能够接受的范围)。受限设备资源的环境,一般是指的手机,嵌入式系统。而要达到这种要求,采用的方法就是量化和剪枝了。
2024-08-18 17:05:02
1316
2
原创 AI 手机的技术展望
某某领导问到我,AI手机这个产业发展如何?对于,地方科技园区,应该如何发展相关产业?我一时还真说不上来,于是,查了一下资料,大概应对了一下。
2024-08-09 00:17:54
1279
原创 使用 continue 自定义 AI 编程环境
一直在使用github 的 copilot 来编程,确实好用,对编码效率有很大提升。 但是站在公司角度,因为它只能对接公网(有代码安全问题)。另餐,它的扩展能力也不强,所以无法大规模推广,当然,还有成本问题(每月70多元钱,也不是小数字)。 于是,想尝试选型 开源的Continue插件来试试,是否可以替代github copilot,完成公司内部的AI 编程。试用了一下,感觉基本是可行的。
2024-08-03 15:20:58
1143
原创 AMD(FPGA) 技术大会2024深圳站
时间:2024.07.23 全天地点:深圳万恰酒店五楼主题内容:主要还是Versal 二代的推介吧,还有就是针对AIE的开发做了一些介绍,和去年的内容对比,没有什么惊喜。
2024-08-01 01:13:57
630
原创 深度学习之基础知识整理
现在大语言模型很火,但它的基础仍然是以神经网络为基础的深度学习,不懂神经网络,不了解深度学习,对于大语言模型的二次开发也是整不明白。那到底需要了解哪些知识?才能看懂深度学习/神经网络的基础模型,想要加入AI大潮,想要ALL In ,也是有很高门槛的。至少我自已还差不少知识点。花了点时间,看了一些资料,整理了一下:(注意:整理得很乱且不具备完整性,可能对读者帮助并不大,慎入)。
2024-07-20 17:54:14
964
原创 超分AI模型学习
超分(超分辨率:Super Resolution,SR):是计算机视觉和图像处理领域的一个热门话题。主要是将低分辨率图像恢复出高分辨率图像。可以采用的方法和手段很多,最近项目中有涉及(红外成像的超分处理),将碰到的一些零散的知识整理了一下,记录一下。
2024-07-19 14:13:50
846
原创 目标检测之YOLOv6实践
上一篇文讲了目标检测的基础知识,今天以YoloV6为例(选择v6,因为项目的选型),详细讲解目标检测的工程细节,一些重要的超参数,必须用到的工具,会在工程任务中解释。1:整体的再介绍一下YoLoV6。2:如何使用YoLo进行图像的推理,试验一下效果。3:如何使用YoLo进行重训,全量微调。4:如何对YoLo进行剪枝,减少空间。5:如何对YoLo进行量化,适应硬件。
2024-06-25 23:36:14
782
原创 目标检测技术学习
什么是目标检测?最近还碰到一个朋友做的项目,是无人机目标检测的,很有意思(据说还是军事用途),主要是协助雷达能快速的识别出无人机,无人机在可见视野中其实是比较小的,而且数据源是多桢实时信号,要很快的准确的识别出来,实际上有一定难度的。我问了对方,对方使用的方案是YoLoV8,硬件有用到RK的芯片,也有GPU的NVIDA的芯片。然后公司接了一个工业相机的目标识别项目,涉及到二维码检测的,需要部署到FPGA上,但是,一切还是从应用层的AI模型开始。所以,详细了解了一些知识。具体我们还是从头说起:
2024-06-12 19:47:37
1150
原创 大模型应用开发框架LangChain
LangChain是什么?它是针对大语言模型开发的一个开源的抽象框架。下图以github的流行度为例,可以看到langchain在很短的时间流行度达到Pytorch框架的高度,在AI燤火的当下,非常的流行。
2024-06-10 18:05:51
853
原创 大模型提示词Prompt学习
关于chatGPT的Prompt Engineer,大家肯定耳朵都听起茧了。但是它的来由?,怎么能用好?很多人可能并不觉得并不是一个问题,或者说认定是一个很快会过时的概念。但其实也不能说得非常清楚(因为觉得没必要深究)。但我觉得,它毕竟存在过,火过,我们还是必须对它有更深入的理解,所以,我花时间认真了解了一下。
2024-05-21 09:42:10
1413
原创 Embedding技术学习
可能很多人并没有关注Embedding技术,但实际上它是GPT非常重要的基础,准备的说,它是GPT模型中理解语言/语义的基础。
2024-05-12 17:10:08
961
原创 理解注意力机制
对于注意力机制,是近期大火的Transformer的关键,Transformer是GPT的最核心的架构。很多人说Transformer架构极其简单,确实,只看架构图很简单,但是如果不能理解注意力机制,那一定是看不明白的。我一直也似懂非懂,最近看了一些资料,尝试再理解一下。
2024-05-11 18:41:47
964
原创 GitHub Copilot 简单使用
因为公司安全原因,并不允许在工作中使用GitHub Copilot,所以,一直没怎么使用。最近因为有一些其它任务,所以,试用了一下,感觉还是很不错的。(主要是C++和Python编程)
2024-05-02 12:08:25
1792
1
原创 Intel FPGA 技术开放日
Intel FPGA 产品技术优势和落地实践方案的技术开放日,这里全程做了记录,添加了一些个人的观感,不一定正确,留存下来,后面再慢慢理解。
2023-12-25 11:55:09
1596
原创 AMD 自适应和嵌入式产品技术日
AMD自适应和嵌入式产品的更新,跨越 云、边、端的AI解决方案,赋能智能制造的机器视觉与机器人等热门话题。
2023-12-17 14:59:10
1879
4
原创 EDA工具开发中的调参方法
在开发EDA工具时,涉及到复杂算法的每个Flow,有很多的参数需要设定默认值。默认值和算法有关,不同默认值效果大不相同。并且,对于不同目标,默认值的设置也不相同。如果参数很多,很难通过经验进行默认值的设定。这类似一个多参数模型调优的问题。问题:当我们遇到一个多参数的模型时,不同参数导致不同的后果,在可以通过打分确认好坏的情况下,如何选择最优的参数(获得更好的得分)。
2023-10-13 16:02:32
420
原创 学习FPGA之五:工具链
对于FPGA的开发工具,主要是通过高效的布局/布线工具,从时序,拥塞,线长,利用率,功耗等多维度来加速设计的实现,如何加速呢?就是提供每个阶段分析和优化,这样,可以保证用户在更早阶段,通过工具的调整,缩短设计的迭代过程。当然,对于工具,也会从顶层设计上考虑面向所有的FPGA系列的产品,因为FPGA可能不但容量越来越大,还有采取堆叠技术,提供高速SerDes,模拟ADC,甚至可能内嵌处理器,这些对EDA工具有更大的挑战,我在这里不针对这些特殊场景的开发做说明,只谈最基础的工具链。
2023-10-03 21:51:39
363
原创 FPGA 芯片点亮标准?
芯片设计完成,给到工厂制造,封装后回来,要经过最重要的一个点亮的环节,你知道什么叫做点亮吗?其实,什么样叫做点亮,每家公司有每家的标准,本着自已不为难自已的原则,一般会有最简单的过程。当然,和不同的芯片也有关系,这里我只是以FPGA芯片为例,说说比较普遍的行业点亮标准。
2023-10-02 17:19:25
1443
原创 FPGA行业应用二:通用仪器行业
通用仪器产品对于FPGA芯片算是高度依赖,涉及数据采集,传输,信号处理,协议转换,信号生成模拟,数据显示等相关技术。
2023-10-02 14:48:58
1272
原创 FPGA行业应用一:LED控制器
LED控制器已经有很多年头了,应该是上世纪90年代就开始有了。它的主要构成是:1:视频信号源——如 电脑,机机,DVD,U盘等2:视频处理器——通过 HDMI/DVI/网口接收来自视频源的数据,对数据进行缩放,渲染和HDR等处理后,通过Serdes或者RGMI接口发送给发送卡。HDR(High Dynamic Range): 指是对图像质量进行处理的技术(如加亮,变暗等处理,使图像更生动)3:发送卡——将视频数据做切分,分割成N份,发给多个分发卡或者直接发给接收卡。
2023-09-27 11:38:18
539
原创 FPGA 中 IP基础学习
name: IP 核名称version:IP 核版本vendor:供应商(开发商)library:库名称(实际就是分类,可以多个层级的嵌套)节点名称节点说明参数名称参数默认值属性名称属性说明参数IDresolve解析方式,user和generated,user为用户自己解析,generated为软件自定解析连接。type参数类型,目前支持类型有:bit、byte、shortint、int、longint、shortreal、real、string属性名称属性说明Id号。
2023-07-17 09:13:56
1194
原创 大模型到底带来了什么?
OpenAI 建立的大模型是通用的模型,就象周鸿袆说的,如果国内的人要搞通用模型,一定会被领导拍死(因为成本太高),但国外就确实搞出来了,它让后面公司不需要从头开始训练,可以基于通用模型来进一步扩展,这可能说是AI 的变革,它很有可能是AI行业的拐点。回到这一轮AI本身,陆奇有一种说法,到现在,我们要理解AI技术,不能盯住技术本身,应该要盯住问题的根源,需要重构思考体系,只有回到问题的根源,才能理解新一轮的AI可能的方向。我的理解,一切人对于世界规律的总结,都是模型,说白了,模型,就是知识。
2023-06-03 21:46:37
485
原创 手机摄影学习笔记一
原理——手机拍照时,有个习惯,会把黑白变成灰度(为了体现细节),会把白色往黑调,把黑色往白调。03:白加黑减:白色背景下的主体通常需要加曝光,黑色背景下主体通常需要减曝光。调整视角——使用地面(草地)或者天空(蓝色),因为这两者是比较简洁的背景。也就是在拍照前,务必要点一下主体,使它对焦。转一下方向——找到最简洁的背景,转一圈儿。02:曝光以主体为准,主体亮度正常有细节。不管拍人物,美食,风景 务必对焦。01:主体只有一个,背景务必简洁。白加黑——白背景,向上拉曝光。黑加白——黑背景,向下减曝光。
2023-04-16 14:27:51
474
原创 ChatGPT 的学习笔记
(其实,OpenAI成立初始,是为了对抗google的,怕它搞垄断,怕google作恶,哈哈哈)相较于传统的分析式AI,ChatGPT采用生成式、预训练的方法,并结合注意力机制和强化学习,实现了超大规模的自然语言处理。技术人员,没法绕过ChatGPT,试用了一些时间,也在网上进行了学习,提供了一些关键词,然后让ChatGPT自已生成的一篇介绍文章:(我只是稍作修改,因为有些我认为有意思的内容被ChatGPT省略了)此外,最要命的是, 受限于GPU的采购,中国在算力方面与美国存在先天的差距。
2023-03-19 18:14:39
4644
原创 学习FPGA之四:FPGA开发方法
FPGA是一个很特殊的芯片,可能在2个月前,我还对它一无所知。我们熟知的芯片都是CPU,GPU,或者知道ASIC的概念。但实际上,FPGA已经走过了30个年头,它目前已经成为一个包含各种先进电路,逻辑单元,接口,芯片封装,制造等技术的“集大成者”。在硬件不断发展的同时,FPGA的开发软件和设计工具也在不断迭代和更新。基于硬件描述语言HDL,抽象出HLS(High-Level Synthesis)技术,通过高层设计去陷藏很多底层逻辑和细节,让FPGA的开发更加简单。即使这样,FPGA的开发还是...
2022-04-08 00:30:21
10394
1
原创 学习FPGA之三:FPGA与人工智能
在人工智能时代,AI的算法不断推陈出新,对于硬件的算力和灵活度要求很高。FPGA的灵活性比较符合AI的特性。通过FPGA可以快速开始定制化运算的研究和设计,因为是使用FPGA,所以,可以保证开发软硬件平台的兼容,如果要获得更高性能,就定制ASIC芯片,如果ASIC过于昂贵,或者硬件产品的需求量不足,也可以继续使用FPGA。在应用规模扩大的合适时机,直接转换为定制化芯片,以提高稳定性,降低功耗和平均成本。下面,用一个比较成功的项目,来说明一下FPGA在AI领域的应用。...
2022-04-06 23:11:44
10162
原创 学习FPGA之二:云端加速
随着互联网,移动互联网,人工智能,物联网(5G),甚至元宇宙的发展,海量的数据越来越多,但是经过有效处理的1%都不到。而数据被称为人工智能时代的石油,数据的处理越来越重要,数据中心的运算,传输是在低层需要支持的重要环节,因此,数据中心市场也逐渐成为了各大半导体与互联网公司的必争之地。一方面,传统FPGA厂商,也就是Intel 和赛灵思 在大力发展FPGA作为硬件加速器,用于加速数据的计算和传输。另一方面,互联网公司也纷纷下场,使用FPGA来加速自家的云...
2022-04-05 08:08:59
4226
2
原创 学习FPGA之一:初识FPGA
一:什么是FPGA?Field Programable Gate Array,现场可编程门阵列。当然,它和 CPU,GPU一样,都是半导体芯片的一种。
2022-04-03 15:01:15
1407
原创 程序员看芯片行业
一个学电路出身的程序员,突然对芯片行业产生兴趣,或许在职业生涯的末段,更换领域,跨界到芯片行业,这不是完全不可能。那芯片到底涉及了哪些知识,如何入门芯片?这显然不是一件容易的事情。
2022-04-02 00:19:37
2158
1
原创 三国人物画像
如果要说中国历史上,哪部小说的普及度和流传度最高,非《三国演义》莫属,因此,三国人物也是大家最耳熟能详的了。但要说到每个人物的特点,非常零散。最近听了得到的 《潇水讲透三国演义》,感觉可以总结一下,按技术人员的习惯,对三国人物做个画像。我把这些脸谱化的人物,拉出来捋一下,感觉也挺有意思。
2022-02-27 11:58:57
2915
原创 网文如何偷走了我的时间?
为啥会看这些垃圾网文?是因为我的自制力差?还是小说写得确实好?我认真想了一下,自制力确实是有问题(从小就是),但这些小说不得不说,确实是有一些诓人的套路。这些小说可以统称为网络爽文,从题材上看,集中为草根逆袭,修仙打怪,时代穿越剧。特点是:情节老套,文笔差劲,虎头蛇尾。但不管写得多烂,无一例外,它能够让读者爽。
2022-02-17 14:56:20
1242
1
原创 读《世界尽头的咖啡馆》
小书一本,匆匆翻完!(没有超过1小时)一本来自美国的鸡汤文,文笔一般,鸡汤也不浓。书中提到三个灵魂拷问:你为什么来这里?你害怕死亡吗?你满足吗?
2022-01-26 22:55:29
282
原创 如何提升数据思维能力?
数据思维是啥?它是成功的代名词?还是一种惯用的夸人的伎俩?实验表明:人类大部分活动是受欲望,感情和本能驱使的,大脑不喜欢也不愿意使用数据。所以,善于使用数据的人都容易获得成功。大家喜欢刷抖音,快手,喜欢美图秀秀,爱看网络小说,但从来不爱看数字,人天生是抵抗数字的,看着就头疼,更别提拿它做分析。所以说:数据使人成功,并不是因为它的好,而是因为它的难以掌握。数据如何用?那我们先看故事!某某单身狗(美国程序员),利用爬虫,在相亲网站 收集了 2万多名女性的相亲过程中的 ...
2022-01-23 23:53:47
3279
原创 罗胖的跨年演讲
每年听罗胖的跨年成为一种习惯,不是直播而是录播哈(不看直播的原因,一是头天晚上要陪小朋友跨年,二来听罗胖的演讲我认为应该有一个更安静的环境和心情)由于疫情,成都的跨年今年空场,罗胖只能对着满场的熊猫公仔,心里可能在滴血,脸上还要强颜欢笑(唉哟喂,我的上千万的钞票啊@#¥)看看这次跨年的主题:原来还能这么干!主题很普通,过程更平常,这次跨年通过53个小故事串接而成。对于其中有一些印象较深的部分,我记录了一下,供以后仔细品味。
2022-01-02 11:10:34
5010
原创 与众不同的协同办公工具——飞书
其实很早就知道飞书,但真正深入了解,还是最近一个月的事情,因为一个知识付费产品的强烈推荐,我才真正试用了一下。试完之后,很有启发,觉得有必要整理和总结一下,以便后续继续深入使用。
2022-01-01 18:02:39
4920
原创 读《三体_死神永生》
在黑暗森林法则威慑后,三体人表现非常克制。实际上双方是力量是不平衡的,目前处于“不稳定平衡状态”。三体人开始不断满足地球人的要求,首先,让三体人帮忙建力引力波装置,用来向宇宙发射地理位置。一次建4个,3个固定,1个移动。三大洲各建一个,然后在一艘叫“万有引力”的飞船上,也造了一个。引力波:是宇宙最通用的通讯手段。然后是科技,三体扔过来一堆新科技。人类这次又感受了三体人的真诚,而且,三体开始在文化上真诚的和人类沟通。三体人居然拍了地球的电影,很多人类开始认为,我们是不是可以和三体人融合一下,双方共同生活在太阳
2021-12-22 20:51:15
792
原创 读《三体_黑暗森林》
第二部:黑暗森林【故事】上本书讲到 三体用质子锁死了人类文明的发展,简单来说,就是利用智子影响电子对撞机的研究结果(说是让物理基础研究无法继续,但人类是绕不过这个坎的,后面的历史也证明了这一点)。三体文明派出水滴和舰队向地球出发。人类发现了一个很神奇的事情,三体人是一个思维完全透明的世界。也就是三体人想什么,其它人都能知道,无法隐藏。三体人是一个直来直去的民族,整个社会没有欺骗,没有虚伪,没有谎言。三体人在知道人类可以隐藏自已的想法之后,三体人也是吓了一跳,说你们太可怕了。假如,我说假如,人类
2021-12-22 20:49:58
775
原创 读《三体_地球往事》
故事的梗概是:对人性绝望的女科学家以太阳为放大器,向宇宙发射信号,被三体人截获,引发三体人要占有地球之心。一小撮试图毁灭人类的成员与三体勾结,成为叛军,内外夹击,地球到了生死存亡的关头。
2021-12-22 20:48:23
855
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人