自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(219)
  • 资源 (3)
  • 收藏
  • 关注

原创 一文搞懂CLIP:架构分析+源码解读

CLIP是OpenAI推出的采用对比学习的文本-图像预训练模型,是近年来在多模态研究领域的经典之作。很多模型都用到了CLIP,虽然它结构简单但是在各个任务上表现都不错。本文没有根据论文的内容从头到尾分析,而是从模型结构入手结合源码来进行分析,希望能够帮助各位小伙伴对CLIP有一个更深的了解!

2024-11-16 00:20:40 1184

原创 VLLM实现大模型服务的部署

使用vllm将大模型推理做成api服务非常方便,你可以通过 - -host和 - -port参数来自定义地址,而且无需担心chat模板,因为它默认会使用由tokenizer提供的chat模板

2024-10-12 00:34:58 587

原创 源码分析之blip2的ITC和ITM的具体实现

引言:很久之前读blip2,对ITC和ITM大致有个印象,一个对比学习,一个图文匹配的二分类,咋一听好像没什么难理解的,最近好好看了一下源码,觉得实现上很巧妙,值得与诸君共享这里小编没有一句一句分析,直接源码+注释,觉得这样看比较方便,因为只分析ITC和ITM,所以这里只放了blip2里面的Blip2Qformer的forward函数内容,如有出入,还请各位小伙伴留言斧正!

2024-10-07 22:48:30 357 1

原创 超详细讲解:DP和DDP的区别以及使用方法

我们一般谈到DP和DDP,他们之间最大的区别就是: DP只支持单机多卡,而DDP既可以支持单机多卡又能支持多机多卡,一般单机多卡跑模型,数据量不大的情况下,其实二者感觉不出来有什么差别,但是数据量一大你会发现,诶,我明明用了DP来进行数据并行了,怎么还是OOM,这是因为DP在进行数据并行的时候各个GPU分摊是不均衡的,而且,你如果指定多张卡的话,一般需要指明哪个是主卡,所以我们要了解DP和DDP是怎么进行数据并行的

2024-10-05 00:27:11 1196

原创 视频理解大模型最新进展

总结了2023-2024年的视频理解大模型

2024-09-19 14:37:26 1305

原创 论文阅读之DeepSeek-Coder-V2 Breaking the Barrier of Closed-Source Models in Code Intelligence

介绍了一种开源专家混合 (MoE) 代码语言模型——DeepSeek-Coder-V2特点:- 基于DeepSeek-V2 的中间检查点进一步预训练的,相比较于 DeepSeek-V2 ,其**编码**和**数学推理能力**更强,同时保持了通用语言任务中相当的性能- 对编程语言的支持种类从 86 扩展到 338,同时上下文长度从 16K 扩展到 128K- 在标准基准评估中,DeepSeek-Coder-V2 在编码和数学基准测试中与 GPT4-Turbo、Claude

2024-08-26 20:23:42 1174

原创 大语言模型之Qwen2技术报告阅读笔记

Qwen2 包括更广泛的语言数据,提高了代码和数学内容的数量和质量所有模型都经过监督微调和直接偏好优化 ,通过学习人类反馈将它们与人类偏好对齐超越了大多数先前的开放权重模型,包括它的前身 Qwen1.5在语言理解、生成、多语言熟练程度、编码、数学和推理的不同基准上相对于专有模型表现出具有竞争力的性能Qwen2 展示了强大的多语言能力,精通大约 30 种语言特别是Qwen2-72B在多个评估指标上展示了显着的性能。

2024-08-26 20:16:53 1383

原创 大模型分布式训练之DeepSpeed优化器并行(ZeRO)原理

由于大模型参数量非常庞大,所以我们常常需要用到分布式训练来解决训练过程中计算资源不足的问题,现在也出现了很多大模型相关的分布式训练框架,但是使用的比较多的还是deepspeed的数据并行,那么deepspeed是怎么实现数据并行的呢。

2024-08-01 16:47:52 1868

原创 Image Caption评估指标深入理解

**BLEU**(Biligual Evaluation understudy):是一种用来评估机器翻译的评价指标,广泛出现在文本生成的论文当中,是一种基于单词精确度的度量方式。BLEU采用一种 N-Gram 的匹配规则,具体来说就是比较 生成文本 和 真实文本 之间的 N组词 的相似度

2024-07-30 20:57:20 1073 1

原创 深入理解Prompt工程

Prompt工程(Prompt Engingering),也被称为上下文提示(In-Context Prompting),指的是通过结构化文本等方式来完善提示词,引导LLM输出我们期望的结果。简单一点来说,就是给LLM模型一些提示或者说指令,让LLM模型清晰准确的知道我们要干什么。那给什么样的提示或者指令能更好更准确输出我们想要的结果呢???怎么设计这样的指令呢???这就是Prompt工程要考虑的事情!!!大模型对 prompt 开头和结尾的内容更敏感。

2024-07-25 15:44:40 1259

原创 从huggingface上下载数据集具体步骤

最近需要从huggingface上下载一个数据集,发现不能像模型那样能直接点击下载,需要通过代码来获取,很麻烦,谨以此博客作为记录

2024-06-30 21:26:10 9964 8

原创 新手教程之使用LLaMa-Factory微调LLaMa3

如果你尝试过微调大模型,你就会知道,大模型的环境配置是非常繁琐的,需要安装大量的第三方库和依赖,甚至需要接入一些框架。但是大模型微调的方法又是非常类似的,那有没有一种工具可以统一这些操作,让大模型微调变成一个简单易上手的事情,LLaMa-Factory就是为了解决这个问题应运而生

2024-06-04 23:01:16 8493 16

原创 大模型ChatGLM的部署与微调

最近大模型太火了,导师让我看看能不能用到自己的实验中,就想着先微调一个chatGLM试试水,微调的过程并不难,难的的硬件条件跟不上,我试了一下lora微调,也算跑通了吧,虽然最后评估的时候报错了,淦!真正设计lora微调的就那一行代码,仅以此博客作为记录,希望有大佬能够告知为啥评估的时候会出现那两个bug,不胜感激!

2024-06-03 22:52:33 1091 4

原创 vue3实现excel导出

在开发一些管理系统的时候,常常会遇到表格导入导出的问题,总的来说呢,代码模板也挺固定的,仅以此博客作为记录以供参考。

2024-05-24 19:09:11 541

原创 CSS实现图片浮动在底层 div 之上,而不会影响底层 div 的布局和内容

遇到个需求,需要图片显示在div之上,但是不占用div的空间布局,网上的答案五花八门,但其实使用css就可以简单实现,仅以此博客作为记录。

2024-05-24 18:21:52 886

原创 关于使用docker创建容器等一系列操作

用过VMware(虚拟机)人都知道,VMware是硬件容器,将一个硬件虚拟为多个硬件,我们可以在VMware中安装各种各样的系统而不受本身电脑硬件配置的影响而docker是应用容器,它可以将一个操作系统虚拟为多个操作系统,我们在docker中运行各种各样的应用而不受本机操作系统的影响

2024-05-16 17:46:53 392

原创 论文精读之BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding

因为之前看了CLIP,所以把BLIP看了一下,其实模型也没有很复杂,整体来说还是编解码器结构,只不过 加了图像文本对比学习以及图像文本匹配学习,作者还提出了一种针对有噪声的图像文本对的数据增强方式,想法蛮不错,但是还是需要有文本描述的图像才行,我个人是觉得,要是只有图像就能获得对应的描述作为增强数据就好了,因为实际生活中,常常是只有图像没有对应的文本。好了,我们进入正题吧~

2024-05-07 21:10:41 828

原创 使用 Ant Design Vue踩过的那些坑

一些头脑不清醒的吐槽:真的没有人觉得Ant Design Vue很难用吗???官方文档很拉跨啊???难道是我道行太浅???仅以此博客记录使用 Ant Design Vue踩过的那些坑#¥%&*@

2024-04-29 14:26:45 665 1

原创 通过鼠标移入移出增加页面交互效果

有时候希望给用户带来一些炫酷的交互体验,常常会通过鼠标触发一些动态的样式效果!!!这里简单总结一下,以后会不定时补充,谨以此博客作为记录!

2024-04-26 18:01:53 514

原创 Vue3实现页面来回跳转的时候某个参数值不变,或者说实现参数共享

前情提要:主页面有个日期选择框,选择某个日期之后,从主页面点击超链接跳转到其他页面再返回的时候,日期又回到初始值而不是我选择的那个值,这就涉及到属性的状态管理即vuex,也是我们常说的store。关于vuex我这里不再赘述,感兴趣的小伙伴建议去官网了解:https://vuex.vuejs.org/zh/store对象.属性。

2024-04-25 16:39:13 369

原创 用现成的容器来创建镜像,以及再克隆一个一模一样的容器

我在centos系统中使用docker拉取了一个centos镜像,并用这个镜像创建了一个hadoop容器,但是后面我又需要一个相同版本的hadoop镜像来创建其他容器(比如hive容器),但是这个时候docker官网并没有对应版本的hadoop镜像,我去阿里云的镜像源查看也没有,搞了一个晚上真的要疯了,我dockerfile文件已经写一半打算自己创建一个的时候,一个想法进入脑子,能不能把一个容器转成镜像呢?竟然真的可以,救了老命了!!!呜呜呜,仅以此博客作为记录。

2024-04-23 22:16:41 355 3

原创 论文精读之GRIT: Faster and Better Image captioning Transformer Using Dual Visual Features

之前的很多图像描述方法都是通过fast-rcnn(作为物体探测器)来提取区域特征,这样的方法存在三个问题:①缺乏上下文信息 ②局部识别不准确 ③计算成本高

2024-04-21 16:06:46 941 2

原创 vue3实现时钟效果

鼬鼬鼬鼬鼬被提需求了!!!产品:你学什么的?我:跟CV有点关系产品:control C加control V是吧我:对对对。

2024-04-11 15:28:16 626

原创 Vue3点击事件实现使table中最后一列可编辑的同时,表格中的滚动条自动滚动到该列位置

这个小功能我大概花了小半天的时间才实现,所以无比痛恨给我提这个需求的人,还好最后没有放弃,谨以此博客作为记录我被迫走上前端之路的第n天!这里当isEdit值为true时显示保存,否则显示历史回溯。代码来自项目里面的一部分,所以可能有点乱#@&

2024-04-10 15:52:16 408

原创 VS Code远程连接服务器运行python程序

之前一直用pycharm连接服务器跑程序,pycharm需要本地和远程都存一份代码,然后把本地的更新同步到服务器上来实现代码修改,后来实习的时候发现企业里面都用VS Code,不得不说,VS Code真的很方便,直接连服务器在服务器上跑就行了,根本不需要把代码download到本地,很奈斯!!!

2024-04-07 19:08:10 2521 1

原创 数据挖掘入门项目二手交易车价格预测之建模调参

上述我们主要通过log转换正则化模型选择参数微调等方法来提高预测的精度最后附上一些学习链接供大家参考:线性回归模型:https://zhuanlan.zhihu.com/p/49480391决策树模型:https://zhuanlan.zhihu.com/p/65304798GBDT模型:https://zhuanlan.zhihu.com/p/45145899XGBoost模型:https://zhuanlan.zhihu.com/p/86816771。

2024-04-06 00:31:25 2043

原创 scala实现通过Spark统计人均登录次数最终写入MySQL

- ①首先创建SparkContext和SparkSession对象;- ②引入implicit隐式转换包,方便后面将RDD转换为DataFrame;- ③创建数据库连接,方便后面将结果写入数据库;- ④从文件名中截取日期并写入文件,后面分析数据需要;- ⑤利用RDD的算子将数据进行拆分、切割、整理,并转换为DataFrame;- ⑥创建临时表,便于用SQL语句对表进行查询;- ⑦将查询结果写入数据库

2024-04-01 21:17:49 425

原创 数据挖掘入门项目二手交易车价格预测之特征工程

特征工程的主要目的还是在于将数据转换为能更好地表示潜在问题的特征,从而提高机器学习的性能。比如,异常值处理是为了去除噪声,填补缺失值可以加入先验知识等特征构造也属于特征工程的一部分,其目的是为了增强数据的表达。

2024-03-31 14:52:52 1410

原创 被迫走上前端之路第六课之vue的v-for列表渲染

有时候我们需要动态显示一些标签重复的内容或者可迭代数据,如果手动一条条实现有点麻烦,而且代码看着不美观,这个时候就要用到v-for来实现。

2024-03-29 18:18:39 668

原创 利用scala书写spark程序实现wordCount

- ① 需要事先部署好Hadoop具体请参考博文:[hadoop环境的搭建](https://blog.csdn.net/David_house/article/details/108627515)- ② 将文件上传到HDFS中具体参考博文:[把本地文件上传到HDFS上操作步骤](https://blog.csdn.net/David_house/article/details/137088769)- ③ 编写spark程序从HDFS上读取文件进行wordCount操作

2024-03-28 21:40:19 1450

原创 被迫走上前端之路第五课之vue的条件渲染

有的时候我们希望在一些条件下渲染元素(就是有选择的显示我们页面内某些内容),这个时候就要用到v-if。

2024-03-28 11:04:30 426

原创 把本地文件上传到HDFS上操作步骤

实验条件:我在虚拟机上创建了三台节点,部署了hadoop,把笔记本上的数据上传到hdfs中。因为条件有限,我这里以虚拟机为例。

2024-03-27 20:46:08 2437

原创 本地项目提交到远程服务器的git流程

初入职场的开发小白或多或少都会遇到一些使用git来管理项目的问题,这里给大家浅浅的总结一下大致的提交流程。

2024-03-27 12:01:51 358

原创 被迫走上前端之路第四课之vue的表单双向绑定

在进行表单处理时,我们希望JavaScript中与表单绑定的变量能随着我们表单的输入或选择而动态的发生改变,或者说二者同步。这个时候就需要实现表单的双向绑定。

2024-03-27 11:28:20 395

原创 被迫走上前端之路第三课之vue的v-on事件监听

在vue的事件处理中,使用v-on来监听DOM事件,并在事件触发时执行对应的 JavaScript。DOM事件:DOM(document object model)事件是指在HTML文档中发生的,如点击、鼠标移动、键盘按键等。

2024-03-27 10:53:55 338

原创 被迫走上前端之路第二课之vue的v-bind属性绑定

在 Vue 中,双大括号只能用于文本插值。为了给 attribute 绑定一个动态值,需要使用 v-bind指令。

2024-03-26 16:29:34 365

原创 被迫走上前端之路第一课之vue的声明与响应

我们老说vue的核心功能是声明式渲染,那到底什么是声明式渲染呢?

2024-03-26 14:46:01 300

原创 论文解读之Attention-based Deep Multiple Instance Learning

多实例学习是由监督学习演变而来的,我们都知道,监督学习在训练的时候是一个实例(或者说一个样本、一条训练数据)对应一个确定的标签。而多实例的特点就是,我们在训练的时候的输入是多个实例对应一个确定的标签,我们把这多个实例看做一个包,每个包有一个确定的标签,包是有标签的而包里面的实例是没有标签的,多实例的目的就是,进而进行一系列的任务,比如说分类等。

2024-03-17 18:56:28 1821

原创 大数据入门之hadoop学习

大数据通常指的是数据集规模非常庞大且难以在常规数据库和数据处理工具中有效处理的数据。

2024-03-08 23:08:11 1595

原创 数据挖掘入门项目二手交易车价格预测之数据分析

数据探索有利于我们发现数据的一些特性,数据之间的关联性,对于后续的特征构建是很有帮助的。对于数据的初步分析(直接查看数据,或.sum(), .mean(),.descirbe()等统计函数)可以从:样本数量,训练集数量,是否有时间特征,是否是时许问题,特征所表示的含义(非匿名特征),特征类型(字符类似,int,float,time),特征的缺失情况(注意缺失的在数据中的表现形式,有些是空的有些是”NAN”符号等),特征的均值方差情况。

2024-03-02 21:44:23 1882

vue利用echarts简单实现具有中心节点的知识图谱代码

vue利用echarts简单实现具有中心节点的知识图谱,其中边缘节点可拖动,其大小可以根据传入的值而变化

2023-08-02

c++用动态规划实现01背包问题

C++从文件读取数据,利用动态规划实现01背包问题

2022-10-20

谷歌浏览器多个版本免费获取

内含谷歌浏览器多个版本安装程序,任意获取,让Chrome带来更多的搜索体验

2022-06-29

jdk8:window下java环境的安装包

该压缩包包含jdk-8u191-windows-x64和jdk-8u271-windows-x64安装包

2022-06-15

mysql-5.7.30-winx64

mysql-5.7.30-winx64压缩包,Windows下解压之后即配即用

2022-06-13

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除