- 博客(42)
- 收藏
- 关注
RSS订阅原创 mask language model 的具体实现及思路详解
对于bert-base-uncased,bert-base-chinese,roberta等模型预训练中的mask language model的实现
2023-10-24 15:24:53
347
原创 jieba计算中文TF-IDF，并画出词云
在开始编写程序之前，我们先了解一下词云图的作用，我们拿到一篇文章，想得到一些关键词，但文章篇幅很大，无法短时间得到关键词，这时我们可以通过程序将文章中的每个词组识别出来，统计每个词组出现的次数，出现次数越多，字号越大，最后吧所有词组拼成一张图，这就是词云图了。首先，我们导入 jieba，wordcloud库，这2个库是第三方库，需要自己安装，imageio是python自带库不需要安装。为黑色，且不美观，不具有可观性，这时我们进行下一步，对词云图的颜色，型状进行修饰。紫色 purple 粉红色 pink。
2022-12-24 16:48:30
246
转载 pytorch之model.cuda()、model.train()和model.eval()的区别与作用
训练完train样本后，生成的模型model要用来测试样本。在model(test)之前，需要加上model.eval()，否则的话，有输入数据，即使不训练，它也会改变权值。eval()时，框架会自动把 BN 和 DropOut 固定住，不会取平均，而是用训练好的值，不然的话，一旦test的batch_size过小，很容易就会被BN层导致生成图片颜色失真极大！在pytorch中，即使是有GPU的机器，它也不会自动使用GPU，而是需要在程序中显示指定。
2022-12-01 16:44:21
857
转载 用torch.nn.Sequential()搭建神经网络模型
原始定义方式与 nn.Sequential 两种定义方式实例：可以看到使用torch.nn.Sequential()搭建神经网络模型非常的方便，少写很多的codetorch.nn.Sequential是一个Sequential容器，模块将按照构造函数中传递的顺序添加到模块中。通俗的话说，就是根据自己的需求，把不同的函数组合成一个（小的）模块使用或者把组合的模块添加到自己的网络中。
2022-11-29 17:19:04
583
转载 java多线程转载
林炳文Evankaka原创作品。转载请注明出处http://blog.csdn.net/evankaka 写在前面的话：此文只能说是java多线程的一个入门，其实Java里头线程完全可以写一本书了，但是如果最基本的你都学掌握好，又怎么能更上一个台阶呢？如果你觉得此文很简单，那推荐你看看Java并发包的的线程池（Java并发编程与技术内幕:线程池深入理解），或者看这个专栏：Java并发编程与技术内幕。你将会对Java里头的高并发场景下的线程有更加深刻的理解。目录(?)[-]一扩展javalang
2022-08-17 16:51:33
73
原创 cpu与gpu的切换
方法：在训练之前加入这一句#选择使用gpu，如果没有gpu就使用cpudevice = torch.device("cuda" if torch.cuda.is_available() else "cpu")12然后，在训练的代码中会找到 .cuda() ，将所有的都 替换成为.to(device) 即可（在网络后边和输入输出后边都需要改）即将model=model.cuda()x=x.cuda()y=y.cuda()123上边的改为下边的！！！！！！！model=model.to(
2022-07-13 20:00:34
2241
原创 简单的糖尿病分类
1.导包import numpy as npimport torchfrom torch.utils.data import Dataset,DataLoader2.定义数据集类class DiabetesDataset(Dataset): def __init__(self,filepath): xy=np.loadtxt(filepath,delimiter=',',dtype=np.float32) self.len=xy.shape[0]
2022-07-09 21:01:48
78
原创 model.train()与model.eval()的区别
1. model.train()在使用 pytorch 构建神经网络的时候，训练过程中会在程序上方添加一句model.train()，作用是 启用 batch normalization 和 dropout 。如果模型中有BN层（Batch Normalization）和 Dropout ，需要在 训练时 添加 model.train()。model.train() 是保证 BN 层能够用到 每一批数据 的均值和方差。对于 Dropout，model.train() 是 随机取一部分 网络连接来训练更新参
2022-07-09 15:33:04
489
原创 史上最简易的本科毕业设计项目(智慧校园管理系统)
主界面如下:环境要求1.安装mysql（直接下一步即可）2.apache=maven-3.6.3解压即可使用(settings.xml文件的阿里云镜像和本地仓库已配置，可改可不改) 3.tomcat(可装，也可不装)4.idea所有文件与项目在后面已分享1.项目结构 横线部分为app或笔记，其余部分为项目部分2.安装插件 安装以上3个插件3.在idea中配置maven,本地仓库等6.运行项目 7.访问地址：localhost:9001所有资源链接：百度网盘 请输入提取码提取码：nrzh......
2022-06-20 11:14:19
348
原创 构造器范例
package com.guigu.contact;class Tree{ int height; Tree(){ System.out.println("planting a seeding"); height=0; } Tree(int initialHeight){ height=initialHeight; System.out.println("creating new tree that is "+
2022-06-05 22:08:38
70
原创 java中带标签的循环
package com.guigu.contact;public class LabeledFor { public static void main(String[] args) { // TODO Auto-generated method stub int i=0; outer: for(;true;){ inner: for(;i
2022-06-05 21:18:40
150
原创 增强for循环
package com.guigu.contact;import java.util.Random;public class ForEachFloat { public static void main(String[] args) { // TODO Auto-generated method stub Random rand=new Random(47);//47为随机种子 float f[]=new float[10]; for(i
2022-06-05 20:45:25
64
原创 jav中循环
package com.guigu.contact;/* * while测试实例 */public class WhileTest { static boolean condition(){ boolean result=Math.random()
2022-06-05 20:34:47
69
转载 shell语法之${},``,$(),$(())四种语法含义
1.${ } 变量、截取、替换${ } 通常是获取变量的值，但也可以进一步对变量的值进行"加工"处理,例如：字符串的截取，替换1.1 获取变量值${}获取变量的值，下面例子，定义了变量a，值test[root@zxp1 /opt/script]# a=test[root@zxp1 /opt/script]# echo $a //可以省略{}test[root@zxp1 /opt/script]# echo ${a} test[root@zxp1 /opt/script]# e...
2022-05-27 19:55:45
1433
原创 常见脚本命令
#如果FLAGS_sync_nccl_allreduce为1，则会在allreduce_op_handle中调用cudaStreamSynchronize（nccl_stream），这种模式在某些情况下可以获得更好的性能export FLAGS_sync_nccl_allreduce=1#表示分配的显存块占GPU总可用显存大小的比例，范围[0,1]export FLAGS_fraction_of_gpu_memory_to_use=1#选择要使用的GPUexport CUDA_VISIBLE_DE
2022-05-26 21:10:12
252
原创 训练集、验证集、测试集
训练集（Training set）用来训练模型的数据。验证集（Validation set）通过训练集训练出多个模型后，为了能找出效果最佳的模型，使用各个模型对验证集数据进行预测，并记录模型准确率。选出效果最佳的模型所对应的参数，即用来调整模型参数。测试集（Test set）通过训练集和验证集得出最优模型后，使用测试集进行模型预测。用来衡量该最优模型的性能和分类能力。往往用测试集的判别效果来估计模型在实际使用时的泛化能力。...
2022-05-20 22:17:15
520
转载 对比学习推荐
对比学习（Contrastive Learning），必知必会 - 知乎大家好，本文同步发布在公众号 算法后花园，欢迎关注。本文从三方面介绍，对比学习基本思想，对比学习范式，以及一些思考（个人认为这部分可以出面试题）。 1. 什么是对比学习？对比学习有的paper中称之为自监督学…https://zhuanlan.zhihu.com/p/471018370...
2022-05-20 16:33:42
134
转载 矢量量化（Vector Quantization）（转）
矢量量化（VQ，Vector Quantization）是一种极其重要的信号压缩方法。VQ在语音信号处理中占十分重要的地位。广泛应用于语音编码、语音识别和语音合成等领域。一、概述 VectorQuantization (VQ)是一种基于块编码规则的有损数据压缩方法。事实上，在 JPEG 和 MPEG-4 等多媒体压缩格式里都有 VQ 这一步。它的基本思想是：将若干个标量数据组构成一个矢量，然后在矢量空间给以整体量化，从而压缩了数据而不损失多少信息。 在以前，VQ运用的...
2022-05-19 16:42:04
1090
原创 in-domain和out-of-domain
in-domain和out-of-domain域内数据和域外数据是根据数据采集的性质而言的，经常出现在域适配问题之中。比如在图文统一表征的工作中，例如文献[2]，作者采用的数据集是COCO Captions，VG Dense Captions和Conceptual Captions，SBU Captions，因为前两个数据集包含的图片数据是来自于COCO和VG数据集的，而大部分的Visual+Language任务都会基于这两大类型的数据集去构建测试集，因此我们把前两个数据集称之为域内数据（in-doma
2022-05-13 12:57:51
2634
1
原创 java中类型转换
package com.guigu.contact;public class RoundingNumber { public static void main(String[] args) { // TODO Auto-generated method stub double d1=0.4; double d2=0.6; System.out.println((int)d1);//向零靠齐，结果为0 Syste...
2022-05-12 21:21:05
95
原创 三目运算符
package com.guigu.contact;public class TernaryIfElse { static int ternary(int i){ return i<10?i*100:i*10; } static int standardIfElse(int i){ if(i<10){ return i*100; }else{ return i*10;...
2022-05-12 21:02:40
105
原创 ==与equals的应用
package com.guigu.contact;public class EqualTest { public static void main(String[] args) { // TODO Auto-generated method stub Integer n1=new Integer(47); System.out.println("n1="+n1); Integer n2=new Integer(47); ...
2022-05-12 20:36:58
106
原创 随机数样例
package com.guigu.contact;import java.util.Random;public class MathOpo { public static void main(String[] args) { // TODO Auto-generated method stub Random rand=new Random(47);//指定随机种子，那么随机数也固定;若不指定，则以当前时间作为随机数 System.out.p...
2022-05-12 20:23:17
111
转载 多模态学习
文章目录一、引言 二、主要研究方向及研究进展 (一)多模态表示学习 (二)模态间映射 (三)对齐 (四)融合 (五)协同学习 三、未来研究展望 (一)表示学习 (二)模态间映射 (三)对齐 (四)融合 (五)协同学习 四、结束语 参考文献一、引言模态是指人接受信息的特定方式。由于多媒体数据往往是多种信息的传递媒介（例如一段视频中往往会同时使得文字信息、视觉信息和听觉信息得到传播），多模态学习（Multimodal Deep Learn
2022-05-11 16:06:41
2854
1
原创 对象作为参数传递
package com.guigu.contact;class Letter{ char c;}public class StaticFunction { static void f(Letter y){ y.c='z'; } public static void main(String[] args) { // TODO Auto-generated method stub /* * 对象作为参数传递时...
2022-05-08 21:23:36
233
原创 重载与重写的区别
1.重写(Override)子类对从父类继承的方法进行更改，即保留方法名和参数列表，却改变方法体。对于返回类型：（1）若是普通数据类型则返回类型必须相同；(2) 若是对象类型，则子类的返回类型为该类或其子类(private 修饰的方法不能被重写)2.重载(Overload)同一类中方法名相同，但参数列表不同(参数类型、个数、顺序不同)。与返回类型无关，返回类型可以相同，也可以不相同。可变个数形参：数据类型 ... 参数名与一般同名函数互为重载public show(){Syst.
2022-04-26 22:06:26
130
原创 对象内存管理
Person p1=new Person();p1.name="Tom";p1.isMale=true;Person p2=new Person();Person p3=p1;对象变量存放栈中，并且内部存储引用对象的首地址，堆内存储引用型变量。图中p3和p1指向同一内存，即p1,p3内部存储地址都为Ox12ab，分别可以通过p1.name="Luccy";改变name内部值，则p3.name也变为Luccy....
2022-04-23 21:49:07
480
原创 数组内存管理
int[] arr=new int[]{1,2,3};arr=new int[4];一维数组变量放在栈中，引用型数组内容放在堆内部，数组名存放数组内存的首地址。二位数组内存管理二维数组相当于在一维数组内再放一个一维数组。int [][]arr=new int[][]{{1,2,3},{4,5},{7,8,8}};arr[0].length;//长度为3,即1，2，3String [][] arr1=new int[3][];arr1[0]=new Stri...
2022-04-23 21:32:10
1578
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人