- 博客(46)
- 收藏
- 关注
原创 symbol cublasLtHSHMatmulAlgoInit version libcublasLt.so.11 not defined in file libcublasLt.so.11
cuda debug
2024-03-04 21:25:21
461
2
原创 ValueError Your setup doesn‘t support bf16gpu. You need torch=1.10, using Ampere GPU with cuda=11.0
debug 深度学习训练,bf16
2023-11-08 17:05:35
2467
2
原创 TypeError Object of type int64 is not JSON serializable
debug python json numpy
2023-05-19 11:02:47
368
原创 论文笔记 CoT:提示+推理+大模型=思维链提示
Google Brain CoT 思维链提示,为后面Instruction Finetune 打下基础的论文
2023-04-10 15:42:05
2320
1
原创 句向量 Sentence Embedding
句向量 Sentence embedding 对比学习 SimCSE SCD Bert-flow Bert-whitening
2022-07-11 12:48:17
2335
2
原创 SCD Self-Contrastive Decorrelation for Sentence Embeddings
ACL2022 句向量 句嵌入向量 sentence embedding 对比学习 自监督 NLP
2022-07-11 00:10:58
340
原创 A Closer Look at How Fine-tuning Changes BERT
ACL 2022 bert的fine-tune机制对向量表示的影响分析
2022-07-05 17:38:58
581
原创 ParaBLEU:Generative Pretraining for Paraphrase Evaluation
ACL2022 生成任务评测 ParaBLEU
2022-05-29 11:56:41
125
原创 GLM General Language Model Pretraining with Autoregressive Blank Infilling
ACL2022 统一预训练模型
2022-05-29 11:52:49
1937
1
原创 CLIP的后续工作
CLIP的后续工作clip作为Open-AI给咱做的一个玩具,自从21年2月到22年5月看了一下差不多有一千篇有关的工作和论文,下面介绍一下一些比较有趣的工作,在github上star比较多的工作。StyleCLIP论文链接:https://arxiv.org/pdf/2103.17249.pdf项目链接:https://github.com/orpatashnik/StyleCLIP结合StyleGAN和CLIP的工作,提出了三种结合方法:以文本为指导的 latent 优化,其中
2022-05-18 16:29:06
1765
4
原创 SimCTG:缓解GPT2在生成任务上token的各向异性
2022 腾讯AI lab的文章,使用SimCTG对比损失loss和decode解码方式,来缓解生成模型的各向异性问题,解决重复生成问题,有代码示例。
2022-05-15 23:07:41
1098
原创 CLIP学习笔记
CLIP 学习笔记论文:Learning Transferable Visual Models From Natural Language SupervisionopenAI在2021年2月发表对NLP和CV圈都很重要的一篇工作主要是通过4亿个文本图片对,进行对比学习预训练,得到词和图片的embedding转换器,在图片分类zero-shot上达到很好效果,后续也可以接很多工作。clip的github地址 openai/CLIP: Contrastive Language-Image Pretrai
2022-05-13 15:38:45
1832
原创 字节AL LAB nlp 日常实习面试失败
面试失败公司:字节跳动职位 : AL lab 的NLP方向面试时长 :1h一面就失败了,没有二面,面试官非常年轻,感觉字节面试官都很年轻。面试官因为疫情也是在居家远程办公,虽然最后没面过,但就像东京喰种里面所说,世界上一切的不利都是当事人能力不足所导致的,跟面试官没什么关系。刚开始自我介绍一下,xx大学读研,研一下,NLP方向,想找个日常实习,没论文,项目也都不是纯NLP方向的,比赛经历,最近在搞京东GAIIC 赛道二的复赛,其他去年参加过百度的两个比赛,都没取得什么名次。研究方向的话NER比
2022-05-10 22:24:13
648
1
原创 PRIMERA Pyramid-based Masked Sentence Pre-training for Multi-document Summarization
ACL 2021 多文档摘要 预训练模型 state-of-the-art
2022-04-09 21:28:38
3254
2
原创 Back to CSDN
Back to CSDN当下人们生活形式越发单一,疫情还没完全消除,许多学校,包括我的学校还没解封,导致生活单一无趣,就希望可以把无聊的日常进行分享和记录,这样可能就不会感觉过于无聊了哈。许多人在微博,朋友圈和QQ空间分享日常生活,也有人喜欢拍摄vlog放到B站,抖音等平台分享自我,也有的喜欢放自己生活照片到ins上。对于我们这类特定的人群–程序员,热衷于偶尔把自己的经验总结,方法技术,论文笔记,放到知乎,博客园,CSDN上进行分享,最近我通过打一个比赛,在交流方法中,了解了一个大神–苏剑林,苏神。然
2022-03-28 19:55:28
299
原创 tf-idf kmeans文本聚类
文本聚类数据集 THUnews中文新闻文本分类方法 jieba分词后,使用tf-idf提取特征,提取时使用停用词表删除停用词,最后使用kmeans进行聚类。优化 优化停用词表,增加max_feature特征,使用minibatchkmeans增加聚类速度评价标准 外在(已知标签) 兰德基数RI ,调整兰德基数 ARI内在 轮廓系数from sklearn.feature_extraction.text import TfidfVectorizerimport paddlenlpfrom
2021-11-09 19:24:05
3732
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人