- 博客(238)
- 收藏
- 关注
原创 When Do We Not Need Larger Vision Models?
扩大视觉模型的大小一直是获得更强大视觉表示的事实标准。在这项工作中,我们讨论了不需要更大视觉模型的点。首先,我们展示了在尺度(S2)上缩放的能力,其中预先训练的冻结较小的视觉模型(如ViT-B或ViT-L),在多个图像尺度上运行,可以在分类、分割、深度估计、多模态LLM (MLLM)基准和机器人操作方面优于更大的模型(如ViT-H或ViT-G)。值得注意的是,S2 在 V∗ 基准上对 MLLM 的详细理解方面实现了最先进的性能,超过了 GPT-4V 等模型。
2024-08-22 11:15:44
478
原创 LLaVA-NeXT-Interleave: Tackling Multi-image, Video, and 3D in Large Multimodal Models
将不同任务的数据格式统一为interleave的图像-文本格式,使得模型能够处理不同场景中的多种任务,如多图像任务、视频任务和3D任务。构造了新的的训练数据集M4-Instruct,包含1177.6k个样本,覆盖了14个任务和41个数据集,支持多图像、视频、3D和单图像任务。LLAVA-NeXT-Interleave在多图像、视频和3D任务中取得了领先的性能,同时保持了单图像任务的表现。通过联合训练多个任务,该模型展示了在不同设置和模式之间任务转移的新能力。
2024-08-21 10:29:08
998
原创 Fine-tuning与 Instruction Tuning
Instruction Tuning 是一种机器学习技术,特别是在自然语言处理 (NLP) 领域中,用于优化模型的行为,使其能够更好地遵循自然语言指令。它是在预训练和微调之后的一种技术,以进一步提升模型在实际应用中的表现。现代 NLP 模型通常经历三个阶段:预训练(Pretraining):模型在大规模未标注的数据上进行训练,学习语言的基本结构和语义。微调(Fine-tuning):模型在特定任务的数据集上进行调整,以提高在该任务上的性能。
2024-08-20 18:02:01
437
原创 LLaVA-OneVision: Easy Visual Task Transfer
新的训练策略,先在但图上进行训练,在扩展到多图和视频。并在最后发现了处理新任务的能力。
2024-08-20 10:49:33
583
原创 AttributeError: ‘TransformerDecoderLayerOptimal‘ object has no attribute ‘self_attn‘
【代码】AttributeError: 'TransformerDecoderLayerOptimal' object has no attribute 'self_attn'
2024-05-27 21:27:23
262
原创 添加了ssh keys还是无法git push
ssh keys的正确设置只有git协议才可以使用ssh-keys文件,从而实现一键git push。https协议只支持账户密码输入。8月13日以后,git不再支持https协议。
2024-03-24 17:59:20
377
1
原创 dataframe的操作中concat和merge有什么区别
主要参数:axis(定义沿哪个轴进行合并),join(如何处理不同 DataFrame 的索引,是取交集(inner)还是并集(outer))。索引对齐:concat 在合并时会根据索引对齐数据,可以处理索引不完全匹配的情况。主要参数:on(指定合并的键),how(定义如何合并,如 inner, outer, left, right)。使用 concat 当你需要简单地沿一个轴堆叠数据时(例如,将两个数据集的相同列或行堆叠在一起)。灵活性:相对来说,concat 更加灵活,支持在不同的轴上进行数据堆叠。
2024-01-10 10:50:50
525
原创 error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build Tools”: https:
出现报错(error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build Tools”: https://visualstudio.microsoft.com/downloads/)下载whl包什么的和python setup.py install,都不行.或者其他包类似,出现问题,看看官网有没有其他方法。别的地方安装VC的,太麻烦了,不想鼓捣.
2024-01-07 11:20:36
392
原创 ERROR: No matching distribution found for torch==1.12.0+cu113
好像不少用清华源的会出现这个问题。
2023-12-28 10:37:57
1792
原创 pycharm连接服务器可以运行,但是在命令行终端中无法运行,找不到某个本地的包或者文件夹
pycharm 可以执行但是命令行却无法运行。在某个.py文件引入了其它目录下的.py文件。但是这个在pycharm 中运行是没有问题的,但是放到命令行运行就会得到错误。
2023-12-19 10:36:47
1071
原创 【PyCharm】 : Cannot open Local Terminal Failed to start [powershell.exe] in C:\Users\
但是后来我想了想,我是用pycharm的控制端打开过jupyter notebook后出现了这种情况,然把左边侧栏Project中关于“localhost:8888”或者其他端口号相关的删去就可以了。
2023-12-16 20:32:17
474
原创 $‘\r‘: command not found的解决方法
出现这样的错误,是因为Shell脚本在Windows系统编写时,每行结尾是\r\n,而在Linux系统中行每行结尾是\n,所以在Linux系统中运行脚本时,会认为\r是一个字符,导致运行错误。
2023-12-04 14:12:06
327
原创 clone报错fatal: unable to access ‘https://github.com/...‘: Failed to connect to github.com port
【代码】clone报错fatal: unable to access ‘https://github.com/...‘: Failed to connect to github.com port。
2023-11-17 10:31:38
555
原创 Pycharm 日常方便工具和快捷键
打开项目中的文件,函数默认是展开的,看起来非常不方便,如果把代码全部折叠起来,看着就一目了然了。快捷键:ctrl+shift+ - 就折叠了代码。
2023-11-16 10:46:38
95
原创 问题解决Sign in failed. Reason: Request signInInitiate failed with message: connect ETIMEDOUT 20.205.243
Sign in failed. Reason: Request signInInitiate failed with message: connect ETIMEDOUT 20.205.243设置网址:,已设置为允许在安装对应版本。
2023-11-13 15:03:30
3587
原创 如何在ModelScope社区魔搭下载所需的模型
本篇文章介绍如何在ModelScope社区下载所需的模型。若您需要在ModelScope平台上有感兴趣的模型并希望能下载至本地,则ModelScope提供了多种下载模型的方式。
2023-11-12 19:13:02
7245
1
原创 ERROR: Could not build wheels for sentence_transformers, which is required to install pyproject.toml
解决办法,更新wheel和pip。
2023-11-11 23:00:10
433
原创 python形成的xmind,xmind软件打不开报错
将Python保存形成的xmind文件导入腾讯在线文档或者processon,然后导出本地就可以用xmind打开了
2023-06-28 11:13:16
603
原创 python单引号,双引号,三引号
三引号(‘’’ 或 “”"):它们可以用来表示多行字符串或包含换行符的字符串。需要注意的是,单引号、双引号和三引号的使用方式在功能上是等效的,选择使用哪种形式完全取决于个人偏好和具体的编码规范。使用三引号可以更方便地定义包含多行文本的字符串,例如多行注释、长文本块或函数文档字符串(docstrings)。在Python中,可以使用单引号(‘)、双引号(")和三引号(’‘’ 或 “”")来表示字符串。单引号(')和双引号("):它们可以用来表示简单的字符串,可以在代码中直接使用。
2023-05-21 17:40:16
2292
原创 render和redirect区别
ender 返回页面内容(渲染变量到模板中),并且没有发送第二次请求,也可能是导致数据消失的原因redirect 发送了第二次请求,是个跳转函数,而且会返回302的状态码
2023-03-05 21:01:10
450
原创 Pip install 和Conda install 总结
一般原则,在新环境中,如果装多个packages,既用到conda,又用到pip,那就先conda 的都装好,再pip,如果能用一种装到底,就不要来回换着用。conda解决依赖的问题很弱,环境包多了以后经常要解决依赖几分钟到十几分钟。我个人感觉比较好的实践是conda创建虚拟环境,装torch/tensorflow等比较难装的包,基础环境配好以后,后面装包一律用pip。
2023-03-04 21:46:42
1248
原创 Pycharm中的Virtualenv Environment、Conda Environment
# 总结我以前创建项目都是在Virtualenv 下创建解析器,这个时候最好用conda install或者pip去安装包,因为如果用pycharm中的加号全装不会同步到环境中。(个人理解)
2023-03-02 22:04:46
2216
2
原创 安装nb_conda后,Conda报错: An error occurred while retrieving installed packages
安装 nb_conda 后,Conda选项卡中报错:An error occurred while retrieving installed packages.EnvironmentLocationNotFound: Not a conda environment: D:\Anaconda3\envs\Anaconda3同时会多出一个 Anaconda3 D:\Anaconda3\envs\Anaconda3 的环境。解决方法: 将 D:\Anaconda3\Lib\site-packages\
2023-02-10 21:40:09
1574
3
原创 openAI gpt部署服务器QQ机器人docker实现
你可以备份这个文件,以后在其他地方使用 mirai 登录这个账号时,可以用备份的文件覆盖 device.json,这样可以避免设备锁验证。成功通过设备锁验证之后,在 bots/QQ号 文件夹中可以找到 device.json 文件,这个文件保存了此次登录的虚拟设备信息。,这是mirai-api-http的配置文件。
2023-02-07 21:36:58
8728
4
原创 git查看分支、创建分支、合并分支
git branch 列出本地已经存在的分支,并且当前分支会用*标记git branch -r 查看远程版本库的分支列表git branch -a 查看所有分支列表(包括本地和远程,remotes/开头的表示远程分支)git branch -v 查看一个分支的最后一次提交git branch --merged 查看哪些分支已经合并到当前分支git branch --no-merged 查看所有未合并工作的分支
2023-01-29 12:33:24
13250
原创 16. 最接近的三数之和
与上一题思路相同,固定第一个数,移后两个数,双指针,比目标值大,右指针左移,比目标值小,左指针右移,直到left大于等于right。
2023-01-15 11:44:55
146
原创 screen循环播放视频
功能:1.目前支持循环推流mp4格式的视频,注意视频文件的名字不能含有空格或其他特殊符号。2.视频加水印,水印位置默认在右上角。完整代码如下:
2023-01-15 11:09:29
980
原创 png的图片四通道,jpg为三通道
png图片比jpg多了一个Alpha通道, 一个RGB颜色模型的真彩图形,用由红、绿、蓝三个色彩信息通道合成的,每个通道用了8位色彩深度,共计24位,包含了所有彩色信息。为实现图形的透明效果,png图片采取在图形文件的处理与存储中附加上另一个8位信息的方法,这个附加的代表图形中各个素点透明度的通道信息就被叫做Alpha通道。所以,送检的图片要转化成IMREAD_COLOR的三通道格式。把jpg图片imread 一下在imwrite成 .png形式,发现 生成的png图片是三通道,四通道能转化成三通道
2023-01-11 15:18:17
2889
原创 15. 三数之和
首先对数组进行排序,排序后固定一个数 nums[i],再使用左右指针指向 nums[i]后面的两端,数字分别为 nums[L] 和 nums[R],计算三个数的和 sum 判断是否满足为 0,满足则添加进结果集
2023-01-10 22:29:15
1692
原创 11. 盛最多水的容器
相对于短板,长板向内移动高不会变(短板没有变),宽变小(长板向内移动),所以只会使得面积变小,但是短板不一样,短板向内移动可能短板会变大,也会间接使得面积可能变大。或者说若向内 移动短板 ,水槽的短板 min(h[i],h[j])可能变大,因此下个水槽的面积 可能增大 。若向内 移动长板 ,水槽的短板 min(h[i],h[j])不变或变小,因此下个水槽的面积一定变小 。
2023-01-09 22:25:11
294
原创 13. 罗马数字转整数
总之,把一个小值放在大值的左边,就是做减法,否则为加法。可以往后看多一位,对比当前位与后一位的大小关系,从而确定当前位是加还是减法。当没有下一位时,做加法即可。也可保留当前位的值,当遍历到下一位的时,对比保留值与遍历位的大小关系,再确定保留值为加还是减。最后一位做加法即可。
2023-01-09 22:20:12
403
原创 12.整数转罗马数字
为了表示一个给定的整数 num,寻找不超过 num的最大符号值,将 num减去该符号值,然后继续寻找不超过 num的最大符号值,将该符号拼接在上一个找到的符号之后,循环直至 num为 0,最后得到的字符串即为 num 的罗马数字表示。
2023-01-09 22:15:58
190
原创 6.Z 字形变换
将一个给定字符串 s 根据给定的行数 numRows ,以从上往下、从左到右进行 Z 字形排列。比如输入字符串为 "PAYPALISHIRING" 行数为 3 时,排列如下:
2023-01-06 22:54:47
93
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人