- 博客(9)
- 收藏
- 关注
RSS订阅原创 深度讲解MiniGPT4代码·一
base_model.py里写了一些权重载入，配置config的method，最关键的是两个函数：init_vision_encoder与init_llm，在这里能够完成模型的创建和权重冻结。这里额外分享一个实操的小秘密：由于视觉模型和语言模型都较大，把他们俩都载进来且放在RAM的时候会爆内存，在载入ViT的时候进程总是会自动被Killed。合理的方式是先载入语言模型，然后将语言模型放在cuda（我的显卡是24GB 3090）上，再在RAM中载入视觉模型和Qformer，就不会有问题了。
2024-05-14 11:39:57
383
原创 什么是课程学习
课程学习（Curriculum Learning）是一种模仿人类课程的训练策略，它一开始在较简单的数据子集上训练模型，并逐渐拓展到更大更困难的数据子集，直到在整个数据集上训练。我们都知道深度学习界特别喜欢聊的一个概念叫泛化误差界，那么有没有一个泛化误差界来证明这种课程学习的有效性呢？以及什么情况下课程学习可以成功，什么情况下又不建议使用课程学习呢？
2024-03-19 18:34:10
215
原创 如何使用ssh连接windows电脑
2.获取电脑的IP，然后ssh 用户名@IP 即可连接。，逐步执行到启动并配置 OpenSSH 服务器即可。1.给电脑安装OpenSSH服务。
2023-03-23 15:49:21
865
原创 Error: Package `maps` required for `map_data`. Please install and try again.
今天在尝试跑三种方法在地图上绘制网络图的时候总是遇到一个错Error: Package `maps` required for `map_data`. Please install and try again.快速解决办法：额外下载mapdata包，重启R studio即可解决。
2021-02-19 15:08:03
385
1
原创 Win10下安装Linux系统
Win10系统下装Linux原来这么简单第一步去Microsoft应用商店里面搜索并下载Ubuntu，应用商店会自动安装。等待下载的时候在搜索栏里面搜开发者选项，按照这个教程第一部分的指引打开开发人员模https://baijiahao.baidu.com/s?id=1624267421407395864&wfr=spider&for=pc安装完毕后，在设置面板搜索启用或关...
2020-04-22 10:18:08
334
原创 PCA和单位球面上二次型的极大化
PCA的推导有两个方向，一种是极大化投影后数据的方差（信息），另一种是极小化投影的均方误差。极大化投影后方差直观来讲，数据一开始就含有一定数量的方差/信息 ，在这个思路下，我们希望找到一些方向，使得把数据往这些方向投影后，能最大限度地保留原有信息（方差），又能比原数据稍显精简。图上这两个方向，很明显u1u_1u1比u2u_2u2保存了更多信息，数据点的方差更大，u1u_1u1就是我...
2020-04-14 12:25:29
851
原创 pydot+Graphviz 2.38配置实现决策树的可视化
开个贴保存一下今天探索pydot包加Graphviz2.38的安装过程 （Anaconda3）：在跑网上一个随机森林的代码时，在决策树的可视化那一步遇到了错误FileNotFoundError: [WinError 2] “dot” not found in path.查了好多网页，最后才解决了问题，不得不感叹一句，“学会了配置环境之后，果然就不需要男人了”。总结一下，流程是：首先...
2020-04-12 23:40:09
1657
1
原创 Random forest中out-of-bag data占原数据集的30%-40%
神奇的1/3今天在看Berkeley的网页学习随机森林，有一个很小的细节总是搞不懂，一直抓耳挠腮。在定义out-of-bag data时，Leo Breiman说剩下没被bootstrap抽中的样本大概有1/3。为什么是三分之一呢？这让我一直想不清楚，最后在stackoverflow上看到了答案。（果然stackoverflow上就是大神多）考虑一个样本量为NNN的集合，对它做一个样本量也是N...
2020-04-04 22:05:39
800
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人