JimmyTotoro-CSDN博客

原创 Tiny-universe学习笔记：Qwen-blog

本文是参与[Datawhale Tiny-universe 组队学习](https://github.com/datawhalechina/tiny-universe)的学习笔记第一篇，笔记中的代码均参考transformers-4.39.3中的Qwen2模型实现，基于torch开发，代码路径为transformers-4.39.3/src/transformers/models/qwen2。

2024-05-15 20:55:18 1738 2

原创零基础入门金融风控-贷款违约预测_Task3

本文在task2基线方案的基础上，进行了缺失值的填充，利用平均数填充了数值型特征，利用众数填充了类别型特征。

2020-09-21 21:15:14 318 2

原创零基础入门金融风控-贷款违约预测_Task2

贷款违约预测_Task2本文结合数据分析，给出了本次比赛的基线方案，该基线方案线上评测得分为0.7391。

2020-09-18 20:29:10 509 3

贷款违约预测_Task1零基础入门金融风控-贷款违约预测_Task1数据概况预测指标零基础入门金融风控-贷款违约预测_Task1数据概况数据包含三部分：训练集（train.csv）、测试集A（testA.csv）、提交结果样例（sample_submit.csv）。其中，包含47列变量信息，其中15列为匿名变量。为了保证比赛的公平性，将会从中抽取80万条作为训练集，20万条作为测试集A，20万条作为测试集B，同时会对employmentTitle、purpose、postCode和title等信息进行

2020-09-15 20:41:31 246

原创 Datawhale大作业_基于Bert实现文本分类

Datawhale大作业基于Bert实现文本分类ImportParameters and HyperparametersTokenizerLoad IMDB DatasetLoad Pretrained-BertModelTrainEvaluatePredict_sentimentTrain Loop基于Bert实现文本分类Import# 基于Pytorch实现import torchimport torch.nn as nnimport torch.optim as optim# 使用tra

2020-07-06 22:56:31 272

原创 CS224n学习笔记 13_Contextual Word Embeddings

CS224n学习笔记 13Representations for a wordTips for unknown words with word vectorsTwo problems for these representations for a wordPeters et al. (2017): TagLM – “Pre-ELMo”ULMfitThe Motivation for TransformersTransformer OverviewScaled Dot-Product AttentionBer

2020-07-03 23:55:45 263

原创 Pytorch 自学笔记（二）：Pytorch中常用的激活函数与损失函数探究

Pytorch 自学笔记系列的第二篇针。对Pytorch中常用的激活函数与损失函数进行一个简单的介绍

2020-07-02 17:43:54 4334 1

原创 CS224n学习笔记 12_Subword Models

CS224n学习笔记 12Human language sounds: Phonetics and phonologyCharacter-Level ModelsBelow the word: Writing systemsPurely character-level modelsPurely character-level NMT modelsFully Character-Level Neural Machine Translation without Explicit SegmentationSub-

2020-06-30 23:33:26 444

原创 CS224n学习笔记 02_Word Vectors and Word Senses

CS224n学习笔记 02Word2vecMain idea of word2vecWord2vec: more details基于统计的词向量GloveCo-occurrence MatrixConclusionWord2vecMain idea of word2vec首先回顾一下，word2vec的主要思想：遍历整个语料库中的每个单词；使用单词向量预测周围的单词；更新向量以便更好地预测。Word2vec: more detailsword2vec 为什么设计两个向量？更容易优

2020-06-27 22:39:46 177

原创 CS224n学习笔记 01_Introduction and Word Vectors

Pytorch 自学笔记（一）CS224n学习笔记 01_Introduction and Word VectorsHow do we represent the meaning of a word?How do we have usable meaning in a computer?1. WordNet2. One-Hot: Representing words as discrete symbols3. Word Vector: Representing words by their contex

2020-06-24 18:28:20 232

原创 Pytorch 自学笔记（一）：使用字符级特征来增强 LSTM 词性标注器

最近开始系统的学习Pytorch，准备写一个系列的blog（大概5篇左右），记录一下自己学习的进程。这第一篇笔记，写的是PyTorch官方教程中LSTM篇的课后练习题实现，网络很简单，但确实是我用Pytorch实现的第一个模型，值得写一篇blog来mark一下。

2020-06-21 10:55:40 2315 4

duxiaodong1122的博客