- 博客(15)
- 收藏
- 关注
原创 python程序小工具——对比两个文件夹差异
如果需要对比确保文件是否修改,可以在获取当前文件夹下文件的函数get_files里面,添加记录文件的最后修改时间,与文件名进行拼接组合成key,这样在后续两文件夹对比时也可以分离出修改时间。功能说明:给了两个文件夹,需要对比出两个文件夹的文件不同之处,包括前一个文件夹比后一个文件夹减少了哪些文件或子文件夹,亦或是后一个比前一个多了多少。1、由于当前的程序只是对比了文件名相同与否,并不能保证后一个文件夹中的文件是否只是文件名相同,但是文件内容已经进行了修改。保留拓展名放置于key中。
2024-07-02 19:04:39
373
原创 python程序小工具——遍历解压压缩包
只要进入zipfile的源码,定位所有cp437的位置,用指定的编码进行替换即可,我这里是都替换成gbk,最后保存,这样解压就不会出现乱码。功能说明:解压一个压缩文件,解压格式可能是zip、7z、rar,此外压缩包下面可能还有压缩包,把所有压缩包都解压成文件夹。2、在解压zip格式的压缩包时候,使用zipfile模块后,解压出来的文件夹名基本都是乱码,这主要是编码格式导致的,因为。在这里做个学习笔记,并把自己的成果留存下,一部分是百度得到的,一部分是自己构思的逻辑组装的。使用rar模块解压时。
2024-07-02 19:04:01
308
原创 从零手搓大模型之路(四、TinyEval的构建)
这是该系列最后一堂课,主要是对比评测模型的好坏程度,给模型进行打分。对于大模型来说,输出结果纷杂,也会导致评测的指标也有众多选择。本文也主要学习下相关的评测指标,先不将评测作为现阶段学习的重点。等自认为大模型的学习有一定成果后再进一步研究。手搓大模型。
2024-05-28 21:01:23
1758
原创 Python之collections类
之前手写在笔记本上的,整理到这里,以免笔记丢失。这里也主要是介绍有这些类,主要是了解其功能作用,具体使用方法再另寻搜索。namedtuple创建命名元组子类的工厂函数,生成可用名字访问元素内容的tuple子类deque类似于list,实现两端快速添加(append)和弹出(pop)ChainMap类似于dict,多个映射集合到一个视图里Counter字典子类,提供了可哈希对象的计数功能字典子类,保留添加顺序,有序字典字典子类,工厂函数,为字典查询提供默认值UserDict。
2024-05-25 14:52:31
915
原创 从零手搓大模型之路(三、TinyAgent的构建)
第三堂课是关于Agent的构建,可能是之前的博文学习llama3时进行过agent的能力体验,感觉这堂课还是比较轻松。也借助这个机会,重温了一遍agent,也翻阅了一些文章,了解了下ReAct,碰巧最近本地部署了qwen-7b-int4的模型,所以本博文就记录下将教程中的大模型替换成qwen的输出样貌以及其他前面博文没提到的内容。手搓大模型ReAct论文链接一文带你了解基于大模型的AgentReAct(Reasoning and Acting,推理+行为)
2024-05-24 23:35:26
837
1
原创 ffmpeg音频命令(常用篇)
使用ffmpeg的主要原因是工作需要,期间总是会涉及音频的采样率、音量啥的转换,音频的剪切与合成叠加。这是以前在别的平台发布的,整合一下丢在这,方便以后查阅。
2024-05-23 21:11:28
859
1
原创 Python魔法方法
以前手写在笔记本上的知识,这次把这些杂七杂八整理下上云,省的以后笔记本不知道丢哪里。python魔法方法汇总主要是双下划线方法,是一系列特殊的方法,其名称以两个下划线开头和结尾。这些方法在Python的类定义中扮演重要角色,允许开发者通过它们来自定义类的行为,使得类能够以更自然的方式与Python的语言特性互动。
2024-05-22 13:56:20
688
1
原创 从零手搓大模型之路(二、手搓一个RAG)
第二堂是动手构建一个Tiny-RAG,也就是RAG的简化版本,只包含RAG的核心功能Retrieval和Generation。整体看完源码,并听完相应的视频讲解,内容感觉还算是很容易明白,本博文记录下自己感觉相对重要的以及一些思考(持续补充)。Tiny-RAG构建检索增强生成技术(Retrieval-Augmented Generation,RAG),它的出现主要是解决大模型的“幻觉”问题,即当询问者询问一些大模型训练数据不包含的数据(如询问一些时效性比较强的或者是专业性比较强的问题),大模型可能会。
2024-05-20 19:33:49
667
1
原创 从零手搓大模型之路(一、学习Qwen模型架构)
五月,依旧是给自己挖坑,参加了DataWhale的五月自学课堂(从零手搓大模型实战)。说是从零手搓,但深知自己远远没有大佬水平,达不到研究透透的程度,所以也就是看源码了解下内部逻辑,简简单单写写心得,期望有朝一日也能成为大佬。So,今天挖的坑让明天的自己哭着来填(哭?哭也是要算时间的!。饭得一口一口吃,路得一点一点走。从零手搓大模型Qwen2逐行代码分析本博文里面图来源于课程链接。开卷开卷!(怎么感觉东西越学越多)这张图第一眼看上去确实很唬人,如果从左往右一点点耐心看,还是能看出些端倪。
2024-05-16 23:10:45
3316
原创 Llama3小白自学路(六、OpenCompass评测Llama3)
OpenCompass是上海人工智能实验室研发的大模型开源评测体系。该体系是面向大语言模型、多模态大模型等各类模型的一站式评测平台。机智流Llama3超级课堂。
2024-05-12 16:48:17
1473
原创 Llama3小白自学路(五、Agent 能力体验+微调Lagent 版)
Agent,智能体,通常被认为是Open AI的下一个发展方向。笔者认为,如果将大模型比作可以根据刺激进行收缩和舒张的神经元,智能体就好比是大脑,可以自由的思考,有记忆分析逻辑推理能力,有问题解决问题的能力,没有问题就创造问题解决问题的能力。Agent-FLAN 数据集是上海人工智能实验室 InternLM 团队所推出的一个智能体微调数据集,其通过将原始的智能体微调数据以多轮对话的方式进行分解,对数据进行能力分解并平衡,以及加入负样本等方式构建了高效的智能体微调数据集,从而可以大幅提升模型的智能体能力。
2024-05-12 16:48:02
429
原创 Llama3小白自学路(四、LMDeploy部署Llama3)
显存开销大、需要缓存大量的kv、数据长度不统一(动态shape)、请求数量不固定,token逐个生成硬件设备巨大的存储开销训练推理token的加速生成、内存的有效管理利用、动态shape的处理服务系统响应时间的降低、系统吞吐量的提升是一个用于压缩、部署、服务 LLM 的工具包,由 MMRazor 和 MMDeploy 团队开发,英伟达设备上部署的全流程解决方案,其包括模型轻量化、推理和服务。高效的推理引擎、交互式推理模式、量化。主要说一下量化,因为后面主要有对量化进行课程实践。
2024-05-12 16:47:46
946
原创 Llama3小白自学路(三、llama3图片能力微调)
前部分依旧是技术流的教程copy及相关笔记。但说实话,在复现这一部分中,遇到了很多问题,后面的QA我会把遇到的进行记录。课程背景是XTuner 团队放出了基于 Llama3-8B 的 LLaVA 模型。然后机智流带领我们基于 Llama3-8B-Instruct 和 XTuner 团队预训练好的 Image Projector 微调多模态图文理解模型 LLaVA。LLaVA模型,即文本单模型LLM和训练出来的Image Projector的组合。LLaVA构建训练阶段。
2024-05-12 16:47:32
1125
原创 Llama3小白自学路(二、llama3个人助手微调)
前面是按照技术流的视频进行copy复制,后面会根据一些思考以及其他卷友的答疑进行尝试(新章节)。机智流Llama3超级课堂。
2024-05-12 16:47:12
379
原创 Llama3小白自学路(一、llama3部署)
24年五一期间,看到机智流举办的卷羊驼活动,碰巧也对其感兴趣,便以小白的身份报名参加卷军。这也是我第一次写自我成长学习的博客,主要也算是对这些做一个知识总结和学习过程中的理解,欢迎一起讨论研究,争取做大做强,再创辉煌。机智流Llama3超级课堂。
2024-05-12 16:46:50
329
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人