- 博客(27)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 realsense t265 图像去畸变代码
但貌似这位博主，并没有很好的区分KB4和Mei模型，混用了参数，导致得到KB4效果不好的结论。KB4模型是鱼眼去畸变最好的模型，唯一的劣势在于不存在undistorted解析表达式。使用C++ opencv接口，去除鱼眼图像的畸变。包含Mei模型和KB4模型。
2024-01-09 14:47:56
452
原创 3x3的local attention的pytorch实现
用以代替卷积，复杂度为(O(window_size * o + c * o))。3x3卷积复杂度为O(window_size * c * o)将其替换进resnet。
2024-01-06 20:16:29
447
原创 一文搞懂GPT
简单说，如果让GPT直接预测结果（结果一般是定长的），而没有中间的推导过程，那么GPT是不具备turing complete的。输出是定长的，但是算法复杂度是输入规模的NP hard级别，而GPT2的推理复杂度是输入规模的线性级别。也即是START token位的输出结果是I1，I1 token为额输出结果I2，依次类推。其实从这个角度来看GPT其实就是RNN，只不过GPT的状态量是之前的所有计算结果，而RNN会把之前的所有状态量压缩到一个固定size的状态量，且因为这个压缩过程，导致RNN无法并行训练。
2023-06-27 14:55:07
534
原创 一种可理解的线性transformer
但是真正的查询向量Q又是和序列有关的，不同的序列有不同的查询向量。因此降低复杂度的一个行之有效的方法是降低查询的次数。然后正常按照transformer的办法用Q向量与每个token的key向量。,0,0)时，相当于只对比例为1的token做查询。的计算是存在递归公式的，因此其复杂度为seq len线性相关，缺点是无法并行。向量为竞争向量，通过softmax归一化得到分布在tokens上的权重，根据。向量的比例，依次按照比例把更新向量赋值给所有的token。的权重对所有的query向量。
2023-06-21 16:12:01
1361
原创 2020-09-05
曲率求解Let α:I→R3\alpha:I \rightarrow R^3α:I→R3 be a regular parametrized curve(not necessarily by arc length) and let β:J→R3\beta:J\rightarrow R^3β:J→R3 be a reparametrization of α(I)\alpha(I)α(I) by the arc length s=s(t)s=s(t)s=s(t),mearusred from t0∈It_0
2020-09-05 21:38:37
209
原创 关于resnet的直觉性解释
resnet为什么能够这么深，而性能不发生退化，确实是一件百思不得其解的现象。而最近我终于明白了里面的深层次的原因。根本原因是,不用残差的模型本质上是在将feature在空间中线性变换，然后进行裁剪，如此可将不同的feature映射为同一个值，发生了坍缩现象，本应不同类别的feature非线性变换为同一个feature值，从而造成信息丢失,造成欠拟合的现象。那么为什么resnet没有发生这种情...
2019-08-30 23:09:17
829
2
原创 xavier初始化的背后原理
一般来讲，要保持方差不变,线性变换是正交变换是最好的。如果是正交变换，则要求每个滤波向量的长度为1.可以证明以xavier初始化的方式，可以保证向量长度的期望为1....
2019-08-28 12:24:07
543
原创 深度学习 权重初始化为什么要用正态分布
一般来讲权重矩阵是K个N维向量。从直觉上来讲，如果这K个N维向量在N维空间中均匀分布在以原点为中心的N-1维单位超球面上，在随机性上应该是最好的。因为这样，这K个向量的夹角为均匀分布。此时问题变成了，如何在N-1维超球面上进行均匀采样。根据这篇论文A note on a method for generating points uniformly on n-dimensional sphere...
2019-06-12 16:47:47
5763
原创 计算机，总线,I/O端口，I/O接口，USB接口详解
一般来讲I/O端口就是一组寄存器，本质上跟内存一样。所以计算机对I/O端口寻址，有两种方式，一种是将内存寻址和I/O端口寻址整合在一起，即使用同一控制总线和数据总线。第二种是,I/O端口和内存复用数据总线，分别使用控制总线,分别寻址.关于总线和I/O的基本原理在计算机组成原理的书上都有详细解释。但是肯定仍有疑惑.本质上总线，I/O端口的原理跟网络通信的原理是一样的。在计算机体系结构中，除了单个器件...
2018-04-02 21:49:18
8420
原创 自然语言处理复习汇总(南京大学)
自然语言处理复习汇总(南京大学)标签（空格分隔）： 自然语言处理参考书籍:统计自然语言处理–宗成庆自然语言处理复习汇总南京大学参考书籍统计自然语言处理宗成庆统计语言模型N-GramNeural language modelword2vector文本分类朴素贝叶斯模型Bernoulli document model伯努利文档模型Multinomial document model训
2018-01-02 13:08:24
4291
2
原创 快速开始keras 教程
序贯模型实现一个简单的与门神经网络情感五元分类,lstmloss函数binary_crossentropy只能用于二分类输出loss函数categorical_crossentropy只能用于多分类输出之前因为在情感五元分类中使用binary_crossentropy，结果用model.evaluate函数计算得到的准确率是错的
2017-11-20 18:19:53
7016
1
原创 TEXMACS在ubuntu下的使用
TEXMACS在ubuntu下的使用1 编译好的texmacs从官网下载编译好的texmacs,然后在linux下设置好环境变量后.运行texmacs,发现输入中文后,texmacs显示乱码(会显示一些奇怪的字符).如果打开工具栏的帮助-用户手册的一些中文文档,能够正常显示中文,那么该问题不是由于没有安装中文字体库引起的. 然后查看命令行终端显示: QIconvCodec::convertFro
2017-10-27 15:47:27
1866
2
原创 ubuntu17.04以及17.10安装java7,jdk7,jre7
在/etc/apt/sources.list中添加如下语句deb http://ppa.launchpad.net/openjdk-r/ppa/ubuntu xenial main其中xenial为ubuntu16.04的代号。然后sudo apt-get install openjdk-7-jdk 即可在高版本ubuntu中用sudo apt-get 安装软件时，经常提示该软
2017-10-27 10:20:37
1107
1
原创 计算熵引发的一些讨论
计算熵引发的一些讨论如下公式为：f(p1,…,pn)=∑ni=0pi∗logpif(p_1,\ldots,p_n)=\sum_{i=0}^n p_i*log \, p_i,其中∑ni=0pi=1，且pi<pi+1\sum_{i=0}^n p_i=1，且p_i<p_{i+1} 这个式子在p1=p2=...=pnp_1=p_2=...=p_n处取得最小值. 其中证明的方式是，构造一个序列，(p11,
2017-10-18 16:39:52
500
原创 hadoop2.7.4 安装配置以及java wordcount 运行出错的总结
openjdk环境变量设置ResourceManager和NodeManager有一个进程消失DataNode 和NameNode 两个进程有一个消失。无法访问 org.apache.commons.cli.Options找不到或无法加载主类 test.class 的错误Exception in thread "main" java.lang.ClassNotFoundException使用命令 hadoop jar
2017-10-15 19:13:52
1835
原创 texmacs 源码安装
TEXMACS在ubuntu下的使用1 编译好的texmacs 从官网下载编译好的texmacs,然后在linux下设置好环境变量后.运行texmacs,发现输入中文后,texmacs显示乱码(会显示一些奇怪的字符).如果打开工具栏的帮助-用户手册的一些中文文档,能够正常显示中文,那么该问题不是由于没有安装中文字体库引起的.然后查看命令行终端显示:QIconvCodec::
2017-04-24 16:56:16
1328
原创 Texmacs使用注意事项
Texmacs 使用注意事项 目录1段落1 2两栏编写1 3输入法2 4粘贴复制产生的问题2 5插入图片的问题2 6导出pdf的问题2 7导出html的问题2 8转word的问题2 9texmacs非正常关闭,从而导致下次启动不了的问题3 10快捷键的问题3 11数学插入矩阵,分段函数的问
2016-07-15 18:41:51
5312
1
原创 证明假如H是G的子群，那么与H共轭的子群个数等于[G:N(H)]
构建如下映射 ϕ:x−1Hx→xN(H)\phi :x^{-1}Hx\rightarrow xN(H)(H的共轭类集到N(H)的陪集构成的集之间的映射) 下证： 1.u−1Hu=v−1Hv→uN(H)=vN(H)u^{-1}Hu=v^{-1}Hv\rightarrow uN(H)=vN(H)(证明ϕ\phi是函数) 2.u−1Hu≠v−1Hv→uN(H)≠vN
2015-05-30 11:58:31
4577
原创 证明偶阶群必存在元素a,使得a^2=1
证明：将元素1,a,a^(-1),b,b^(-1),..依次排列,假如不存在a,使得a=a^(-1)，那么这个群必是奇阶群（因为，(bi,bi^(-1))构成二元组，再加上1，是奇阶群）所以存在a=a^(-1)，所以存在a，a^(2)=1;
2015-05-21 21:31:35
966
原创 n阶非奇异矩阵所构成的群的中心，是恒等矩阵的倍乘构成的集合
证明： 引理1：对非恒等矩阵倍乘的对角矩阵A来说，存在矩阵B,使得A与B不交换 引理2：对角元素互不相同的对角矩阵A，与任意对角矩阵B交换，且只与对角矩阵交换 证明：易证。 然后用引理1和引理2证明原命题：n阶非奇异矩阵所构成的群的中心，是恒等矩阵的倍乘构成的集合 证明： 假若存在矩阵A与矩阵群中任一
2015-05-21 21:09:42
1473
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人