蓝血菜农-CSDN博客

原创 cs224n 2024春 a2（handout部分）

这反映了一个重要的训练动态：当正样本 uo与中心词 vc 之间的点积已经足够大，使得通过sigmoid函数的输出非常接近于 1 时，此时模型对该正样本的预测已经非常准确，进一步的调整会尝试使这个预测值更接近 1，但由于 σ(uo⊤vc) 已经很接近 11，这种调整的力度会很小，即(σ(uo⊤vc)−1)uo 的值将是一个较小的负数，反映了在当前方向上的调整已不需要太大改变。负采样只需要计算与有限数目的负样本相关的sigmoid函数值，每个计算本质上都是标量与向量的乘法。

2024-05-11 18:05:38 780 2

原创 wordcount实验原理和步骤

这里，/wcinput 是 HDFS 上输入文件的目录，/wcoutput 是存放输出结果的目录。本次实验使用伪分布式，即本地创建文件，传入hdfs，如果需要本地模式，则需要修改core-site.xml配置文件，设置fs.defaultFS属性为本地文件系统的路径：file:///在伪分布式模式下，Hadoop的各个守护进程在同一台机器上运行，但是作为独立的Java进程存在，使用HDFS作为文件系统。我的在 usr/local/hadoop/share/hadoop/mapreduce目录下。

2024-05-10 12:33:58 645 1

原创 cs224n 2024春课后作业a1

第一个版本中窗口的处理是通过两次遍历实现的，第一次确定中心词的索引，第二次遍历窗口中的其他词。第二个版本中窗口的处理更加直接，通过计算窗口的起始和结束位置一次完成，这可能在理解上更直观，尤其是在处理文档边界时。第二个版本使用了字典推导来创建。函数合并列表，这个操作在大规模数据上比较耗时。列表推导式直接在遍历过程中进行去重，减少了中间步骤。第二个通过一个列表推导式直接完成了扁平化和去重的过程，在性能上略有优势，避免了使用。，并且窗口的处理逻辑更紧凑。

2024-05-03 21:41:37 789

原创 cs224n default-final-project(对下游三个任务的应用）

这一部分就是完成然后利用gpu训练和计算不同任务的准确度。利用预训练的BERT模型的嵌入，来解决三个不同的自然语言处理（NLP）任务：情感分析、释义检测（paraphrase detection）、和语义文本相似度（semantic textual similarity）。这个项目的目标是探索如何构建健壮的嵌入，使其能够在广泛的不同任务中表现良好任务概述数据集和评估。

2024-05-03 12:32:39 826

原创 cs224n default-final-project(理解adamw算法完成第四部分）

4.3 Adamw Optimizer 测试结果：这次的训练跟上次不同，需要远程租的gpu服务器访问huggingface下载模型，我尝试了colab,但是免费gpu很快用完，跑不完训练的数据，但是租的autodl由于网络限制访问不了，只能用ssh key克隆huggingface才行得通。显示欢迎你即为成功克隆后又发现了问题必须的大文件没有克隆成功最后我的方法只找到了本地下载再上传这个必须要的对最后一个线性层进行微调：python3 classifier.py --optio

2024-05-02 15:12:07 354

原创 cs224n_default-final-project（完成和分析整个minBERT模块）

BERT模型在进行任何额外处理之前，首先将句子输入转换为tokens。具体来说，BERT模型使用一种名为WordPiece的分词器，将句子拆分成更小的词片（word pieces）。BERT预定义了一套包含30,000个不同词片的集合。这些词片随后被转换为id，以便在BERT模型的其余部分中使用。除了将每个句子分割成它的构成词片tokens之外，之前未见过的词片（即，不是原始30,000词片集合中的部分）将被标记为[UNK] token。

2024-04-28 22:03:17 977

原创 cs224n Hugging Face Transformers Tutorial Session[colab]

在Python中，map函数和lambda表达式经常被一起使用以应用一个函数到一个序列的所有元素上。mapmapfunctioniterablemaplist()maplambdalambdalambdalambdamapmap结合在一起使用时，例如在上面的代码中，map和lambda一起用来将文本数据转换为分词化的形式，而无需定义一个独立的函数。这让代码更加简洁，并且便于在map调用中直接进行数据转换。在上文的代码中，lambda表达式用于定义在map。

2024-04-23 20:55:27 430

原创 cs224n 课后作业 2024春 a5

第三步，完成finetune部分，这一部分需要结合partd的三个命令去理解，第一个是训练后生成_params_path，后面才能读入。类中，并打印出一些示例数据，这里要注意open函数的路径问题，加/就要把文件放在工作目录外。第二步，完成模型初始化的代码，分为两个部分，暂时先完成vanilla部分。

2024-04-17 19:21:59 491 1

m0_73283325的博客