![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 82
cqbzcsq
这个作者很懒,什么都没留下…
展开
-
注意力机制略解
本文简要地介绍了注意力机制,Q、K、V矩阵的含义,注意力评分函数的计算方式,并提及了Transformer的相关内容原创 2024-04-29 00:02:30 · 1464 阅读 · 0 评论 -
seq2seq架构略解
在预测时,在第一步预测完毕之后,使用的dec_state会继承解码器RNN的隐藏层状态,而不是保持编码器所获取的隐藏层H1的信息。若数据集为{ }(AB语言对应的句子组)A语言的单词序列+结束符(a1,a2,a3,a4,a5,)开始符+B语言的单词序列(,b1,b2,b3,b4,b5)A语言的单词序列+结束符(a1,a2,a3,a4,a5,)B语言的单词序列(b1,b2,b3,b4,b5,)原创 2024-04-26 21:43:48 · 467 阅读 · 0 评论 -
关于Anaconda通过environment.yml配置环境的常见问题解决办法
配环境总是一个老生常谈的问题,有些项目写得好的,会把一些冗余的包删除,只留下必要的包,并且手把手教你pip安装,但是有些项目就直接丢一个200~300行的environment.yaml文件或者requirement.txt文件让你自己去配,虽然也有相关的环境配置内容,但能够按照步骤一次通过配置的可能性很低,而且大部分问题会跟系统环境、pytorch版本、anaconda版本有关,最终结果就是有些包配了半天终于配好了,结果代码里面直接一个注释不用了,总之就是让人十分折磨。原创 2024-03-29 21:40:16 · 5502 阅读 · 4 评论 -
24年3月下半笔记(个人向)
正则化(规范化),统一参数的量级,避免训练时参数运算的数量级不同导致一个学习率无法适应多个层级的训练,规范化层的运算就是B(x)=k((x-均值)/标准差)+b,这里的均值和方差是通过一个小批量的数据来统计的(所以叫批量规范化,一般适用于50~100的batch_size),k是对正则化后的tensor做一个对应乘法,只在单个数据上操作,不涉及数据间的组合。之后在服务器上配个环境再来跑跑。简单来说,马尔可夫模型就是一条状态链,确定了每一步的转移都只与前面的状态有关(类比于线上的动态规划,递推方程之类的)。原创 2024-03-19 19:59:43 · 432 阅读 · 0 评论 -
机器学习分类模型评价指标总结(准确率、精确率、召回率、Fmax、TPR、FPR、ROC曲线、PR曲线,AUC,AUPR)
TP、FP、TN、FN准确率、精确率(查准率)、召回率(查全率)真阳性率TPR、伪阳性率FPRF1-score=2TP/(2*TP+FP+FN)最大响应分数Fmax为F1-score的最大值(在最佳阈值的前提下)原创 2024-01-22 17:45:15 · 849 阅读 · 1 评论 -
1月下半笔记(个人向)
若次大值在第五位,那么1234位中一定有三位小于次大值,而最大值一定在1、2位,所以3、4位一定小于第五位的次大值,那么3、4位必定弹出一个,矛盾。结构比对算法已经有很多优秀的算法了,比如CE、TM-align、DALI、VAST、K2、SHEBA等之类的,似乎不用自己再写一个了。想到要对蛋白质可视化,然后去找可以用于三维绘图的库,找到了OpenGL,在wsl里面装了一个,发现挺方便,准备开始学。用反证法,最大值在第三位,那么,1、2位都会小于第三位,那么应该弹出1、2位之一,矛盾。原创 2024-01-18 21:01:42 · 589 阅读 · 0 评论 -
Python手搓C4.5决策树+Azure Adult数据集分析
这次实验花费了很长时间在数据集的分析和处理上包括年龄和资本收支的分箱、离散值归并,并且发现了测试集数据中income标签与训练集不同的问题。决策树构建过程中花费了许多时间去查询pandas的批处理函数,如果之前有pandas库调用的基础会好很多。决策树存储结构选用numpy是不太合适的,因为每一个节点的结构儿子个数是不定的,如果按照最多分支数来设置矩阵的列数会有很多空间是浪费的。使用list+dict保存每个节点的数据,用json文件存储读取应该会方便一些。原创 2023-10-24 23:48:30 · 1352 阅读 · 6 评论