![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
算法
青灯剑客
擅长数学和逻辑分析,致力于AI
展开
-
resnet的具体研究
学习resnet的资料原创 2022-11-08 11:35:13 · 344 阅读 · 0 评论 -
反卷积和逆卷积
反卷积和逆卷积原创 2022-11-03 10:08:35 · 166 阅读 · 0 评论 -
感知野大小的计算
感知野大小的计算原创 2022-11-02 16:45:48 · 68 阅读 · 0 评论 -
resnet网络
resnet网络原创 2022-07-03 10:57:45 · 90 阅读 · 0 评论 -
Chinese NER Using Lattice LSTM 论文解读
Abstract我们研究了一种篱笆(Lattice)结构的LSTM模型为中文NER任务。原创 2022-04-16 16:59:25 · 1429 阅读 · 1 评论 -
《Confident Learning: Estimating Uncertainty in Dataset Labels》论文讲解
1.参考链接(1)别让数据坑了你!用置信学习找出错误标注原创 2022-03-23 21:29:13 · 4515 阅读 · 0 评论 -
被问懵的LDA
参考知识:链接1一、隐含狄利克雷分布和多项式分布的关系原创 2022-03-17 23:02:50 · 356 阅读 · 0 评论 -
TextCNN论文解读--A Sensitivity Analysis of (and Practitioners’ Guide to) Convolutional Neural Networks f
最近CNN模型在句子分类任务中表现的很不错,但是要配置好了才行,包括 模型的结构和超参数。因为一层的CNN模型比较简单,我们拿它来进行研究模型的设计。原创 2022-02-21 23:14:54 · 1031 阅读 · 0 评论 -
TextCNN论文解读--Convolutional Neural Networks for Sentence Classification
CNN+static vector 在句子分类的任务中表现很好,而且基于具体task微调后的task-specific vectors 表现的更好原创 2022-02-17 23:48:19 · 747 阅读 · 0 评论 -
NLP增强技术
昨天遇见一位老哥,问我知道哪些NLP增强技术。原创 2022-02-16 23:07:11 · 632 阅读 · 0 评论 -
focal loss 之我贱
说到focal loss,其实看过很长时间了,前段时间还说要用来着。可信最近给忘记了原创 2022-02-14 23:20:46 · 173 阅读 · 0 评论 -
被遗忘的jieba分词
结巴分词,现在还有多少人在用?原创 2022-02-14 19:40:43 · 503 阅读 · 0 评论 -
XLNET模型的总结
原以为要总结的东西很多,其实不然。看论文,参考 即可代码见哈工大讯飞实验室的这里链接原创 2022-02-13 22:03:05 · 287 阅读 · 0 评论 -
catboost的知识点总结
上次研究catboost还是在快2年前,今天看看以前的笔记,于是做下整理。CatBoost:三个特点(1) 实现了有序提升,排列驱动以代替经典算法;(2) 一种新颖的算法处理分类变量。这两种技术都是为了对抗由一种特殊类型的目标泄漏所引起的预测偏移,这种泄漏存在于目前所有梯度增强算法的实现中。(3) 使用对称二叉树,加快了计算速度...原创 2022-02-13 16:20:32 · 300 阅读 · 0 评论 -
深度模型的损失函数
最近做了一个关于位置预测的小项目。其中因为涉及回归问题,我用了huber损失函数,现在对回归损失函数做一个总结,以便加深理解1. MSE和MAE的区别和优缺点(1)简单来说,MSE计算简便,但MAE对异常点有更好的鲁棒性。如果训练数据被异常点所污染,那么MAE损失就更好用。举例说明见链接1,也可以从直观上来理解:MSE相当于平均数,MAE相当于取中位数。(2)然而MAE存在一个严重的问题(特别是对于神经网络):更新的梯度始终相同,也就是说,即使对于很小的损失值,梯度也很大。这样不利于模型的学习。为了解原创 2022-02-08 22:58:05 · 852 阅读 · 0 评论 -
交叉验证--说不清道不明的故事
“你以为你懂了,可是别人分分钟说的你哑口无言;你以为你没懂,其实你也不知道自己懂没懂。”原创 2022-01-29 21:00:46 · 1014 阅读 · 0 评论 -
常见的深度学习优化器
一直用优化器解决问题,但是没有对它进行一个系统的总结。。不对,系统的总结进行过,只是时过境迁,早已忘却。一、照进我脑海的几个家伙二、以为自己遇见了大海三、新世纪的先锋们...原创 2022-01-29 20:58:36 · 1140 阅读 · 0 评论 -
模型压缩的一些总结
上次和人交流,人家问我 模型压缩的方式有哪些,把我给说懵了。虽然,本人长期一来一直追求新技术的普及和应用,但是命途多舛,时不时被历史洪流甩的不知东西。记录下来是一个很好的过程,所以特地写下来加深理解。相关经典参考一、知识入门基本的知识总结可参考文献一二、transformer的模型蒸馏。...原创 2022-01-23 20:49:11 · 152 阅读 · 0 评论 -
序列模型的一些小总结
transformer 在长序列领域的应用:原创 2022-01-15 10:55:48 · 129 阅读 · 0 评论 -
如何搜索某一领域的论文
今天,看到一师兄讲课,他提到了怎么去搜索某一领域的论文,我记了下来,希望以后不断完善。顶会论文网址ACL Anthology - ACL Anthology https://aclanthology.org/其他经验(1)一个师兄的回答是这样的:我是去paper with code瞅瞅,然后再去瞅顶会。做研究就直接去顶会搜就行。或者看看这个方向有没有综述,搜综述提到的...原创 2021-12-19 16:34:47 · 1030 阅读 · 0 评论 -
模型集成和级联
刚才看到一个链接,讲的是两个小模型就能吊打大模型!北大校友、谷歌华人一作「模型集合」,CNN、Transformer都适用!。里面写了怎么既要用集成模型,又要减低计算量的事情,主要分 级联 和 集成。所以记录下来,以后再研究。...原创 2021-11-28 10:55:40 · 487 阅读 · 1 评论 -
python模块总结实录
argparse 模块链接一:来自于知乎的大作,据说很清晰argparse模块用法实例详解。原创 2021-11-14 22:47:11 · 574 阅读 · 0 评论 -
fasttext知识点总结
引子:马云是靠整合资源来成就自身的,所以我也应该多搞点链接整合一下。上次有个家伙说自己读过Fasttext,一副自豪的样子。其实呢,我还给隔壁王奶奶倒过垃圾呢,不知道有什么 值得自豪的。先附上几个大大的优秀文章来打底...原创 2021-11-14 10:43:31 · 181 阅读 · 0 评论 -
激活函数的积累与总结
不知不觉,激活函数已发展到Gelu普及的时候,总结 积累函数的任务变得刻不容缓。(1)sigmoid函数(2)relu函数(3)elu函数(4)gelu函数资料一原创 2021-08-05 10:48:30 · 65 阅读 · 0 评论 -
BILSTM和CRF的那些事
最近看了老师的视频课,一下子觉得自己对这些内容又生疏了,于是找来看了看。现在记录一下原创 2021-07-22 22:58:03 · 504 阅读 · 0 评论 -
智能对话01-redis的安装
一、redis本身没有windows版本,于是微软对它进行了一个封装。我们首先去github上下载最新的.zip版本。封装版本链接.zip版本解压后,将地址放入到环境变量中去。地址目录可以参考我的:C:\install\Redis-x64-3.2.1003.进入到 C:\install\Redis-x64-3.2.100 中找到 配置文件redis.windows.conf 进行安装。安装命令为redis-server --service-install redis.windows.con原创 2021-07-03 23:11:58 · 52 阅读 · 0 评论 -
卷积操作的本质特性+TextCNN文本分类
CNN的本质三点:稀疏交互、参数共享、平移不变性,详情见链接textCNN的卷积核长度常用的卷积核有3种:三、四、五。宽度是我们的向量宽度。(具体细节,再看看,300)cnn与全局向量Glove的结合思考Cnn的核心在于抓住了句子中的局部信息,是不是可以考虑和全局向量GLOVE相辅相成。CNN为什么比RNN更容易并行计算参考一链接参考二链接具体流程:(1) 扩展维度与卷积:这里括在最后1维,即shape=(?, 135, 128, 1),filter_shape: [3, 128, 1.原创 2021-05-09 18:00:28 · 187 阅读 · 0 评论 -
字符串匹配之多模式方法-AC算法
今天,我和同事聊到了我看的KMP算法。同事说,AC算法要比KMP算法快一点。我急忙去搜资料,现在找到了几个好的资料分享如下。原理内容的讲解原创 2021-03-24 20:43:39 · 61 阅读 · 0 评论