- 博客(22)
- 收藏
- 关注
RSS订阅原创 Transformer模型就是一个巨大的连续数据统计库
如果embedding不变数据一定会收敛于某个分类中，也就是attion的参数会趋向于一个极限。不受数据位置的影响，受关键连续数据的影响，可以捕获关键连续数据，这是提取了数据的特性。无论参数如何变化，只要输入不变都会趋向于一个区间，具体原理不知道。Transformer模型就是一个巨大的统计库。所以transformer训练后只能做微调。
2023-12-18 01:12:52
376
原创 Linear神经元反向数据重建
在神经网络上进行数据重建对特征提取和可视化等任务非常有用，查了许多资料有热力图、INN反模型，还有对抗攻击等，都很复杂。这里只用了矩阵逆和svd重建线性层的神经元，可以很好嵌入代码中。
2023-05-30 02:08:47
73
翻译 用ChatGPT尝试理解Transformer模型
接下来，为了让模型可以学习到不同的注意力模式，我们引入多头注意力机制，将查询向量、键向量和值向量分别映射到。由于一个查询向量需要和所有的键向量计算相似度，因此我们可以将所有的键向量拼接成一个矩阵。然后，对相似度进行 softmax 操作，得到该头注意力权重的分布。的相似度，然后使用 softmax 函数进行归一化，得到该头的注意力权重。，这个值被称为标准化因子，确保每个头的输出都具有相同的方差。进行加权平均，得到最终的多头自注意力机制的输出向量。综上所述，多头自注意力机制中计算注意力权重的公式。
2023-04-16 00:25:15
141
翻译 opencv cuda多线程用队列方式处理视频
想写一个视频处理器，但是对c++图像处理不太了解于是用了chatgpt…意外chatgpt竟然走那么远了。
2023-02-14 23:44:43
518
原创 windows上编辑器vim配置markdown(支持mathjax)
轻量可定制化Markdown IDE打造加入 Plugin 'iamcco/markdown-preview.nvim'插件，比markdown-preview.vim增加了mathjax公式显示而且不用任何配置就可以使用，其它配置可以查看github上的说明。
2022-08-06 22:15:09
530
原创 k8s常用操作整理
容器操作常用命令# 获得所有布署kubectl get svc --all-namespaces# 获得所有容器kubectl pod svc --all-namespaces# 修改布署文件kubectl edit svc/<svc name> -n <namespace># 强制删除特定pods#kubectl delete pods cloudagile-mariadb-0 -n intelligence-data-lab –grace-period=0
2022-04-24 11:04:42
293
原创 JVM调优整理
JVM 收集器默认使用串行收集器， 单个cpu时适用吞吐收集器（throughput collector）：命令行参数：-XX:+UseParallelGC。在新生代使用并行清除收集策略，在旧生代和默认收集器相同。适用：a、拥有2个以上cpu， b、临时对象较多的程序-XX:ParallelGCThreads 并行收集线程数量，最好和cpu数量相当并发收集器（concurrent low pause collector）：命令行参数：-XX:+UseConcMarkSweepGC。在旧
2022-04-24 10:33:29
144
原创 哥德巴赫猜想与整数环
哥德巴赫猜想与整数环 “哥德巴赫猜想：每一个大于2的偶数都可以写成两个素数的和。 其等价公式可以为:L+R=2ML+a=ML+2a=RL + R = 2M \\L + a = M \\L + 2a = RL+R=2ML+a=ML+2a=R L,RL,RL,R 是素数， aaa 是L,M,RL,M,RL,M,R的间格，MMM 是大于3的自然数。 从式子可知每个自然数MMM两边相同的距离出现一对素数哥猜就成立，推广LLL可得数列：MRL1+1L1+2L2+1L2+4L3+1L
2022-04-24 04:26:40
98
原创 SearchGuard证书配置
SearchGuard证书配置增加hosts192.168.10.120 node1.company.com192.168.10.xxx node2.company.com192.168.10.xxx node3.company.comTLS工具安装下载TLS工具https://repo1.maven.org/maven2/com/floragunn/search-guard...
2019-10-06 12:21:27
796
原创 SearchGuard配置
elk安全插件searchguard安装在es下安装 (es版本6.5.4)下载插件<ES directory>/bin/elasticsearch-plugin install -b com.floragunn:search-guard-6:<guard version>进入到searchguard安装目录cd <ES directory>/...
2019-10-06 12:04:54
400
原创 java连接要searchguard认证的es
elasticsearch版本6.5.4pom.xml文件加入依赖 <!-- es插件 --> <dependency> <groupId>org.springframework.data</groupId> <artifactId>spring-dat...
2019-10-06 11:58:34
1009
2
原创 athas排查k8s的skywalking问题
skywalking 索引id过长oap错误日志2019-09-27 11:07:53,182 - org.apache.skywalking.oap.server.core.register.worker.RegisterPersistentWorker -51257996 [DataCarrier.REGISTER_L2.BulkConsumePool.0.Thread] ERROR ...
2019-10-06 11:31:24
938
1
原创 系统性能及并发数的一些计算公式
系统性能及并发数的一些计算公式单位时间并发数QPS(TPS)=并发数/平均响应时间QPS(TPS): 每秒钟request/事务 数量并发数: 系统同时处理的request/事务数响应时间: 一般取平均响应时间最大线程数Max number of threads=(MaxProcessMemory – JVMMemory – ReservedOsMemory) / (ThreadSt...
2019-09-29 03:09:55
2852
1
转载 mysql基础总结
DDL 数据定义语言 create(建表) alter(修改属性) drop(移除) truncate(清除数据回收空间)DQL 数据查询语言 select(查询)DML 数据操作语言 update(修改表) delete(删除记录) insert(插入记录)DCL 数据控制语言 grant(授权) revoke(回收权限) commit(提交事务) rollback(回收事务)/* 创...
2018-08-12 00:22:34
196
原创 js常用方法对象及属性
/** * String常用属性 */typeof //检测变量的返回值leng //返回长度charAt(index) //返回在指定位置的字符indexOf(str，index) /...
2018-08-11 23:01:21
157
原创 批量快速修改代码的正则表达式替换
[\W]*?X 跨行匹配任意字符到X字符结束$1 为匹配到的(xxx)变量" /** * XXXX */ private" 替换为:" @ApiModelPropertyvalue = "XXXX" private"查找^ \/\*\*\r\n *\* (\w*)[\W\w]*?private匹配 @A...
2018-08-11 22:18:53
1591
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人