- 博客(47)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 LLM 参数量和内存占用计算
此外，训练时占内存的还有梯度（和模型参数本身大小一样），优化器（如使用adam，是模型本身大小*2，因为要计算动量和方差）7b = 7billion = 7*10^9 个参数（1billion就是10亿就是9个0）fp32精度，一个参数4byte，1G=10^9 byte, 所以 7b就占7*4GB。int8精度，一个参数1byte， 7b就占7*1GB。fp16精度，一个参数2byte， 7b就占7*2GB。
2024-02-15 18:43:09
825
原创 解决torchvision.model下载预训练模型太慢的问题
model和.pth如果是对应的，就可以用model.load_state_dict加载。注意这条语句是在模型上直接修改，不应写成model = model.load_state_dict。所以我们可以自己在浏览器下载模型，然后加载进去。Ctrl+函数打开源码自己就可以找到。当pretrained=True，才会联网下载模型，否则很快，仅得到一个没训练过的模型。.pth文件或者state_dict变量：模型参数，里面是模型每一层具体的浮点数。model：模型，不含参数。
2024-01-16 16:02:06
698
原创 LLM论文：LLatrieval (LLatrieval: LLM-Verified Retrieval for Verifiable Generation)
LLM参与评判检索结果这是一篇文章的思想很容易理解，用下面这一张图就可以讲清楚，而这几乎是本文的所有思想了。本文的价值在于完成了这个简单的思想，并开源了代码，为以后的研究做打基础。
2024-01-16 10:22:26
414
原创 LLM论文：ALCE （Enabling Large Language Models to Generate Text with Citations）
1. 评估长文本生成2. 自动评估引用质量3. 允许为一个陈述引用多篇文章。
2024-01-15 14:55:19
699
1
原创 论文阅读：Attention is all you need
【最近课堂上Transformer之前的DL基础知识储备差不多了，但学校里一般讲到Transformer课程也接近了尾声；之前参与的一些科研打杂训练了我阅读论文的能力和阅读源码的能力，也让我有能力有兴趣对最最源头的论文一探究竟；我最近也想按照论文梳理一下LLM是如何一路发展而来的，所以决定阅读经典论文。本文是这个系列的第一篇。Attention is all you need 这篇文章提出了一个新的“简单的”架构、LLM的基石——Transformer，主要是针对机器翻译任务，当然后来就出圈了。
2024-01-14 23:40:45
1087
原创 【论文绘图】matplotlib，seaborn，proplot，SciencePlots入门知识
以下内容参考宁海涛老师的书《科研论文配图绘制指南——基于python》以及matplotlib官方文档、seaborn官方文档。
2023-08-24 16:26:32
549
原创 【论文绘图】图中各元素分别用哪个函数控制？
以下内容参考宁海涛老师的书《科研论文配图绘制指南——基于python》以及matplotlib官方文档。这些元素分别是用哪个接口控制的呢？
2023-08-22 11:41:05
81
原创 【论文绘图】基本知识&配色&matplotlib color 官方教程
本文的前半部分来自书《科研论文配图绘制指南–基于Python》，后半部分来自（v3.7）
2023-08-19 15:02:48
9755
原创 win10 下重装anaconda并配置torch环境（cuda11.2）
本次重装是因为这几天安装torch, torchvision(安装torch+cuda时没有一起装上，手动安装后又连累了torch版本，再手动安装torch+cuda), almbumentations后出现以下报错。
2023-08-05 19:38:11
890
原创 sql刷题
题目提供了多个表的，一般要把多表连结，连结条件可能比较复杂，这就是难题所在。大多数题目会使用子查询目前知识已经涵盖了绝大多数题目考察范围，接下来可以看看红皮书和刷题。
2023-08-04 21:20:23
877
1
原创 sql-窗口函数、存储过程
可选参数，指示如何将查询行划分为组，类似于 GROUP BY 子句的分组功能，但是 PARTITION BY 子句并不具备 GROUP BY 子句的汇总功能，并不会改变原始表中记录的行数。答：执行顺序导致的。可选参数，指示如何对每个分区中的行进行排序，即决定窗口内，是按那种规则(字段)来排序的。例）有 3 条记录排在第 1 位时：1 位、1 位、1 位、4 位……例）有 3 条记录排在第 1 位时：1 位、1 位、1 位、2 位……例）有 3 条记录排在第 1 位时：1 位、2 位、3 位、4 位。
2023-08-01 21:21:15
96
原创 sql 集合运算，连结
集合在数学领域表示“各种各样的事物的总和”, 在数据库领域表示记录的集合. 具体来说,表、视图和查询的执行结果都是记录的集合, 其中的元素为表或者查询结果中的每一行。在标准 SQL 中, 分别对检索结果使用UNIONINTERSECT,EXCEPT来将检索结果进行并,交和差运算, 像UNIONINTERSECTEXCEPT这种用来进行集合运算的运算符称为集合运算符。以下的文氏图展示了几种集合的基本运算。
2023-07-29 23:53:36
58
原创 sql03--视图，子查询，关联子查询，各种函数，case语句
由于标量子查询的特性，导致标量子查询不仅仅局限于 WHERE 子句中，通常任何可以使用单一值的位置都可以使用。也就是说， 能够使用常数或者列名的地方，无论是 SELECT 子句、GROUP BY 子句、HAVING 子句，还是 ORDER BY 子句，几乎所有的地方都可以使用。使用 product（商品）表作为参照表，假设表中包含初始状态的 8 行数据。请编写出统计上述商品种类中所包含的商品数量的 SELECT 语句，结果如下所示。replace(对象字符串，替换前的字符串，替换后的字符串)
2023-07-29 08:53:55
188
原创 sql笔记2——简单sql
由于聚合函数在计算结果时需要已经确定的数据集，所以不能在 WHERE 子句中直接使用聚合函数，否则会引发错误。当在 ORDER BY 子句中使用别名时，已经知道了 SELECT 子句设置的别名，但是在 GROUP BY 子句执行时还不知道别名的存在，所以在 ORDER BY 子句中可以使用别名，但是在GROUP BY中不能使用别名。使用COUNT等聚合函数时，SELECT子句中如果出现列名，只能是GROUP BY子句中指定的列名（也就是聚合键）。我的理解是，假<不确定<真，AND总取下界，OR总取上界。
2023-07-28 18:17:28
75
原创 sql笔记——初识
是否可以编写 SQL 语句来恢复删除掉的 Addressbook 表？DDL：数据定义语言。创建或删除存储数据用的数据库以及数据表。DCL：数据控制语言。DML：数据操纵语言。一个大括号包住了所有，包括主键。要用“执行sql脚本”执行。忘记写 ‘table’、
2023-07-21 15:42:39
52
原创 scipy.sparse文档翻译
2023.6.14本文是对https://docs.scipy.org/doc/scipy/reference/sparse.html#的翻译。为数字数据准备的SciPy 二维稀疏数组包。注意：该软件包正在从旧的矩阵接口转换为与NumPy数组兼容的数组接口。我们建议您在进行新的工作时使用数组对象（bsr_array、coo_array等）。使用数组接口时注意：x*y 不再执行矩阵乘法而是元素对应相乘。为了使代码适用于数组和矩阵，可以使用 x @ y 进行矩阵乘法运算。
2023-06-14 16:58:49
77
原创 【已解决】记selenium 键鼠操作失效bug
第二行无效的原因可能是①输入框 `suggest_top_input` 没有获得焦点，点击一下就好。②元素没来得及加载，睡眠等一下就好。
2023-05-14 09:59:25
704
1
原创 csapp attacklab 报segmentation fault
记录一个找了一个小时的bugattacklab level1 输入40个无意义的16进制数再加上touch1地址，就报了segment fault。GDB检查%eax的值，发现前40个没问题，问题在于touch1 地址找错了，程序run起来，然后在输入字符串之后，touch1 的地址会改变。而我使用的是run之前的touch1 地址，所以不对。
2022-10-30 10:57:00
870
3
原创 C++ 位运算符总结
目录1. 参考2. 逐位逻辑运算符 ~、&、|、^逐位非 （NOT）~逐位与 （AND）&逐位或（OR）|逐位异或（XOR）^移位运算符1. 参考本文参考并整理自链接: https://zh.cppreference.com/w/cpp/language/operator_arithmetic.2. 逐位逻辑运算符 ~、&、|、^逐位非 （NOT）~~ 右操作数结果是实参值（提升后）的逐位非（反码）示例代码：#include <iostream>#
2022-04-11 09:29:04
1504
原创 Python正则表达式（re库）批量添加括号、引号
文章目录批量添加括号批量加引号批量添加括号从GitHub复制的Python2代码，print函数经常不带括号，手动添加非常麻烦，这时候正则表达式就派上了用场。以下是我自己写的正则表达式加括号的示例代码import res='''#This is a notefor i in range(3): print 'hello!'a=1print 'over!''''print_content = re.findall('print \'(.*)\'\n',s) # 先找到所有pr
2022-02-09 15:03:56
2691
原创 Python-networkx库的五种layout（图形布局）
network 库内置五种图形布局设置：circular_layout:顶点在一个圆环上均匀分布random_layout:顶点随机分布shell_layout：顶点在同心圆上分布spring_layout:用Fruchterman-Reingold算法排列顶点spectral_layout:根据图的Laplace特征向量排列顶点...
2022-02-04 14:28:57
7632
原创 用Python在三维图上标注特定点的坐标
import numpy as npfrom matplotlib import pyplot as pltfig = plt.figure()ax = plt.axes(projection="3d")x = y = np.arange(start=-1, stop=1, step=0.05)X, Y = np.meshgrid(x, y)Z = (X-Y)*(X+Y)ax.plot_surface(X,Y,Z,alpha=0.8, cstride=1, rstride = 1, cmap=
2022-02-04 13:03:18
4018
原创 重积分 基本知识点
1.二重积分概念：曲顶柱体的体积∬Df(x,y)dσ=limn→∞Σi=1nΣj=1nf(a+b−ani,c+d−cnj)b−and−cn\iint_Df(x,y)d\sigma=lim_{n\rightarrow \infty}\Sigma_{i=1}^n\Sigma_{j=1}^nf(a+\frac{b-a}{n}i,c+\frac{d-c}{n}j)\frac{b-a}{n}\frac{d-c}{n}∬Df(x,y)dσ=limn→∞Σi=1nΣj=1nf(a+nb−ai,c+nd−c
2022-02-04 10:31:33
6528
原创 多元函数微分学 基本知识大纲
1.多元函数二元函数其实就可以想象成一个曲面比如这个曲面的方程是一个二元函数：Z=(X−Y)(X+Y)Z = (X-Y)(X+Y)Z=(X−Y)(X+Y)横切，纵切，（固定X或Y）那个横截线就是一元函数2.极限、连续极限类比一元函数的极限，二元函数的极限是X,Y分别无限逼近一个数时，Z 的值表示：lim(x,y)→(a,b)f(x,y)=Alim_{(x,y)\rightarrow(a,b)}f(x,y)=Alim(x,y)→(a,b)f(x,y)=A例如：lim(x,y)→(0.
2022-02-03 21:34:04
1114
翻译 Basemap在地图上绘制数据（整理自官网）
整理自https://matplotlib.org/basemap/users/examples.html用到的方法：contour(): draw contour lines.（等高线）contourf(): draw filled contours.imshow(): draw an image.pcolor(): draw a pseudocolor plot.（伪色图）pcolormesh(): draw a pseudocolor plot (faster version for.
2022-01-24 13:31:56
911
翻译 basemap绘制和标注平行线和子午线(整理自官网)
整理自https://matplotlib.org/basemap/users/graticule.html用到：drawparallels() and drawmeridians()画纬线： drawparallels(circles, color='k', textcolor='k', linewidth=1.0, zorder=None, dashes=[1, 1], labels=[0, 0, 0, 0], labelstyle=None, fmt='%g', xoffset=Non.
2022-01-24 13:05:20
615
1
翻译 Basemap-绘制地图背景（整理自官网）
整理自https://matplotlib.org/basemap/users/geography.html可能用到的方法：drawcoastlines(): draw coastlines.fillcontinents(): 为大陆内部上色。不幸的是，fillmethods并不总是正确的。Matplotlib总是试图填充多边形的内部。在某些情况下，海岸线多边形的内部可能是模糊的，外部可能被填充而不是内部。在这些情况下，推荐的解决方法是使用drawlsmask()方法，使用为陆地和水域指定.
2022-01-24 11:51:28
852
原创 Basemap()函数参数详解（整理自官网）
Basemap()函数参数详解整理自官方文档：https://matplotlib.org/basemap/api/basemap_api.html#mpl_toolkits.basemap.BasemapBasemap() 的用途：我们最开始画静态地图的数据可视化，总得先有个地图吧，所以basemap()就是用于最开始设定一个地图用的，可以在该函数中设置地图投影方式，海岸线等等。参数列表：mpl_toolkits.basemap.Basemap(llcrnrlon=None, llcrnrl
2022-01-24 11:26:07
10134
原创 不定积分 基本积分表
一些简单的练习常用公式，供反复练习区分两个函数指数函数：x在指数上 y=axy=a^xy=ax幂函数：y=xay=x^ay=xa基本积分表∫sinxdx=\int sinx dx=∫sinxdx=∫1x2dx=∫x−2dx=\int\frac{1}{x^2}dx=\int x^{-2}dx=∫x21dx=∫x−2dx=∫1xdx=∫x−1dx=\int\frac{1}{x}dx=\int x^{-1}dx=∫x1dx=∫x−1dx=∫1xdx=∫x−12dx=\
2022-01-18 13:54:40
3863
原创 数据结构学习笔记01
一，计算hailstone（是否有穷尚无定论） 好算法——最强调“效率”，其次是可读性，健壮性，正确性二，计算模型1.图灵机（不懂怎样作为一个计算模型来使用）tape(均匀划分为单元格)有限的alphabetheadstatetransition function（q,c;d,L/R,p）2.RAM（没听懂）三，渐进复杂度看主流和长远大O记号：上界大Omega记号：下界θ记号：以上二者之间高效解：常数 O(1)对数 O(logcn)有效解：多项式 O（
2022-01-18 11:49:41
65
原创 【微分方程】 基本题型复习
微分方程微分方程的思路框架非常非常清晰！一阶: 一共四种，不行再试试 x,y互换遇到一阶微分方程，先想方设法孤立 y'如果 y' 可以写成 f(x)*f(y) : 变量可分离型解决方法：把原方程含y部分移到等式左边，含x部分移到等式右端，两边求不定积分即可。不要忘记 ‘+C’！如果 y' 可以写成 f(y/x) : 齐次型解决方法：令 u=y/xu=yxu=\frac{y}{x}u=xyy=uxy=uxy=ux dydx=u+xdudx\dfrac{dy}{
2022-01-16 19:18:40
601
原创 【定积分】基本知识点+考点
定积分本文将以 考点+一般的出题套路+一般解决方法 为脉络展开。考点一：概念要求曲边梯形的面积，但不好求但是求矩形面积是方便的划分成长条矩形（这里等不等分结果一样，所以采取等分）一个长条矩形的面积 Si=Δxif(ξi)S_i=\Delta x_if(\xi_i)Si=Δxif(ξi)n个长条矩形的面积 S=Σi=1n[Δxif(ξi)]S=\Sigma_{i=1}^{n} [ \Delta x_if(\xi_i)]S=Σi=1n[Δxif(ξi)]但是求矩形面积毕竟不
2022-01-16 15:49:02
6803
2
原创 【不定积分】不定积分知识点总结
不严谨但通俗地说，不定积分就是知道导函数f(x)f(x)f(x)找原函数F(x)F(x)F(x).以下如无特别说明，用F(x)F(x)F(x)代表原函数，f(x)f(x)f(x)代表导函数.1. 原函数存在定理f(x)f(x)f(x)连续（第一章的概念）⇒\Rightarrow⇒ 一定有原函数F(x)F(x)F(x) ，注意是单向箭头...
2022-01-15 22:48:41
2470
原创 leetcode278.第一个错误的版本
原题：你是产品经理，目前正在带领一个团队开发新的产品。不幸的是，你的产品的最新版本没有通过质量检测。由于每个版本都是基于之前的版本开发的，所以错误的版本之后的所有版本都是错的。假设你有 n 个版本 [1, 2, ..., n]，你想找出导致之后所有版本出错的第一个错误的版本。你可以通过调用bool isBadVersion(version)接口来判断版本号 version 是否在单元测试中出错。实现一个函数来查找第一个错误的版本。你应该尽量减少对调用 API 的次数。样例：输入：n ..
2022-01-10 15:45:46
68
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人