- 博客(38)
- 收藏
- 关注
原创 一些NLP代表性模型
序列分类任务中,编码器和解码器的输入相同,最终解码器 token 的最终隐藏状态被输入到新的多类别线性分类器中。至于微调,未被破坏的文档是编码器和解码器的输入,研究者使用来自解码器最终隐藏状态的表征。输入序列总是以[CLS]这一特殊token开头,其在最后一个隐藏层的向量表示记为C,C是输入序列的整合表示,在分类任务中,C被喂进输出层。输入序列中15%的token被随机mask,被mask的token的最后隐藏层向量表示链接一个softmax输出层,维度为词典大小,预测被mask的token是什么。
2024-10-10 20:58:49 623
原创 Transformer
Transformer详解文章:https://blog.csdn.net/yujianmin1990/article/details/85221271
2021-05-07 14:48:20 163
转载 Hive中order by ,sort by ,distribute by ,cluster by
1、order by 会对输入做全局排序,因此只有一个reducer,会导致当输入规模较大时,需要较长的计算时间。2、sort by不是全局排序,其在数据进入reducer前完成排序。因此,如果用sort by进行排序,并且设置mapred.reduce.tasks>1,则sort by只保证每个reducer的输出有序,不保证全局有序。即每个文件是有序的。如果reduce=1,sort ...
2019-05-14 13:24:01 663
转载 excel 日期/数字格式不生效需要但双击才会生效的解决办法
问题: Excel设置过单元格格式后,并不能立即生效必须挨个双击单元格,才能生效。数据行很多。效率太低。 原因:主要是一些从网上拷贝过来的日期或数字excel默认为文本格式或特殊-中文数字格式大小写。 手动设置单元格,将格式改成日期格式,但仍不能参与计算。 只有挨个单元格双击,才能生效;才可以计算。 解决: 选中整列,“数据”--->“分列”--->“分隔符号...
2018-11-01 13:35:57 47587 7
转载 python中的float除法和整除法
转自 http://www.jianshu.com/p/9034aafb50aa从python2.2开始,便有两种除法运算符:"/"、"//"。两者最大区别在:python2.2前的版本和python2.2以后3.0以前的版本的默认情况下,"/"所做的除法是以一种两个数或者多个数出现一个浮点数结果就以浮点数的形式表示,即float除法 "//"所做的除法则不相同,"//"不管两者出现任何...
2018-07-18 20:41:50 5320
原创 Error: opening registry key 'Software\JavaSoft\Java Runtime Environment'
卸载旧的JAVA JDK,安装新版的JDK时,运行cmd的java -version命令遇到这样的报错:Error: opening registry key 'Software\JavaSoft\Java Runtime Environment'Error: could not find java.dllError: Could not find Java SE Runtime En...
2018-07-18 20:37:14 25245
转载 SQL-where 和 on 的区别
https://blog.csdn.net/qiqi860819/article/details/4586067https://blog.csdn.net/u013468917/article/details/61933994
2018-07-10 11:07:10 278
转载 SVM进阶问题
1、为什么要选择最大间隔分类器,请从数学角度上说明? 答:几何间隔与样本的误分次数间存在关系: 其中的分母就是样本到分类间隔距离,分子中的R是所有样本中的最长向量值2、样本失衡会对SVM的结果产生影响吗? 答:会,超平面会靠近样本少的类别。因为使用的是软间隔分类,而如果对所有类别都是使用同样的惩罚系数, 则由于
2017-10-01 17:01:10 1757
原创 Matlab并行编程
本文讲的Matlab并行编程包括并行for循环和数据并行(同一个程序运行在不同的数据上),分别对应于parfor、spmd方法1. 并行方法parpool %开启并行池(parallel pool) %parallel programdelete(gcp('nocreate')) % 关闭并行池上面就是Matlab并行编程的形式。你的计算机有几个核,parpool
2017-04-27 19:57:33 4398
原创 Matlab 使用squeeze函数提取多维矩阵的某一维
在图像处理领域,经常需要对每个像素提取特征,保存为一个三维矩阵。例如对大小为100*150的图像提取SIFT特征,就会得到100*150*128的三维矩阵(A)。如果想要索引任意一个像素(如坐标(2,3)的对应像素)的特征向量,直接对A索引A(2,3:)得到的是一个1*1*128的三维矩阵b,而不是一个向量,解决方法是使用squeeze函数。c=squeeze(b)得到的c就是128的列向量。例子
2016-08-03 22:42:20 29520 1
原创 关于使用LIBSVM3.21过程中出现的问题
之前使用过libsvm,最近由于换了电脑,由原先的32位换成64位,所以重新安装了64位的matlab 2015b,打算使用最新的libsvm 3.21。对于windows 64位的系统,libsvm-3.21/windows文件夹下自带已经编译好的svmtrain.mexw64、svmpredict.mexw64、libsvmread.mexw64、libsvmwrite.mexw64,所以
2016-05-22 20:27:46 4560 2
原创 向量间距离计算
Matlab计算两个向量间的欧氏距离、卡方距离、cosine相似度、Earth Mover距离、L1距离转自http://www.cs.columbia.edu/~mmerler/project/code/pdist2.m% This function belongs to Piotr Dollar's Toolbox% http://vision.ucsd.edu/~pdollar/t
2016-04-07 11:19:39 7655 1
转载 SVM核函数
Kernel FunctionsBelow is a list of some kernel functions available from the existing literature. As was the case with previous articles, every LaTeX notation for the formulas below are readily a
2016-03-29 11:31:03 1193 1
原创 Matlab中的矩阵运算
四种点运算 .* 点乘 .^ 点乘幂 .\ 点左除 ./ 点右除解释:点运算是对相同维数(行列维度都相同)的矩阵的对应元素进行相应的运算。矩阵的点积,就是加点的情况(A.*B)就是矩阵各个对应元素相乘, 这个时候要求两个矩阵必须同样大小矩阵的乘法,就是不加点的情况 (A*B)(其他^、\
2016-03-08 22:38:27 1336
转载 科研经验
1. 先看综述,后看论著。 看综述搞清概念,看论著掌握方法。2. 早动手。 在师兄师姐离开之前学会关键技术。3. 多数文章看摘要,少数文章看全文。 掌握了一点查全文的技巧,往往会以搞到全文为乐,以至于没有时间看文章的内容,更不屑于看摘要。真正有用的全文并不多,过分追求全文是浪费,不可走极端。当然只看摘要也是不对的。4. 集中时间看文献。 看过总会遗忘
2016-02-29 21:50:26 640
转载 Matlab显示图像问题,double处理后,图像变白
在matlab中,我们常使用imshow()函数来显示图像,而此时的图像矩阵可能经过了某种运算。在matlab中,为了保证精度,经过了运算的图像矩阵I其数据类型会从unit8型变成double型。如果直接运行imshow(I),我们会发现显示的是一个白色的图像。这是因为imshow()显示图像时对double型是认为在0~1范围内,即大于1时都是显示为白色,而imshow显示uint8型时是0~2
2016-02-25 16:46:07 5991
原创 DDSM数据库转换图像格式——LJPEG转为PNG格式
Digital Database for Screening Mammography (DDSM)数据库是一个非常大的乳腺图像数据库,有一万多张图像,但是图像格式是LJPEG,现有的图像软件(如photoshop、ACCDsee、windows自带的图像查看软件)以及编程软件(如matlab)都无法读取,需要将其转换成其他常见的格式才能使用。我从网上搜到了很多方法,试过之后都不成功,其中包括该数据...
2015-07-28 23:54:28 8149 51
原创 matlab中调用其他文件夹中的方法
我们在写matlab程序的时候,为了将程序分为几个模块而将m文件分在不同的文件夹下,如果直接调用另一个文件夹下的m文件是不可以的,正确的方法是用addpath函数,如addpath D:\Matlabaddpath libsvm;这样就可以调用添加的路径下的m文件了。
2015-03-27 22:18:46 18929
原创 用Visual Studio高版本打开低版本的工程,转换时出现错误:fatal error LNK1123: 转换到 COFF 期间失败: 文件无效或损坏
用Visual Studio高版本打开低版本的工程,转换时出现错误:fatal error LNK1123: 转换到 COFF 期间失败: 文件无效或损坏,本文提供的方法亲测有效
2014-10-23 15:35:14 2145
转载 正则表达式笔记1 分支条件 逻辑操作符 |
Logical Operator | :X|Y : | 可以理解为 “或”。正则表达式中带分支(即包含 |)的时候,它会按分支的顺序从左到右匹配。需要注意的一点是:从左到右匹配的过程中一旦找到某个匹配就会停止对其它条件的匹配。(例子可以看下面第三个例子)Ggicci|ggicci 可以匹配 Ggicci 或者 ggicci,这个同 [Gg]gicci假设某个地区的电话的表示
2014-04-16 16:50:43 902
转载 JAVA正则表达式Pattern类和Matcher类
一个Matcher对象是由一个Pattern对象调用其matcher()方法而生成的,一旦该Matcher对象生成,它就可以进行三种不同的匹配查找操作: matches()方法尝试对整个目标字符展开匹配检测,也就是只有整个目标字符串完全匹配时才返回真值。 lookingAt ()方法将检测目标字符串是否以匹配的子串起始。 find()方法尝试在目标字符串里查找下一个匹配子串。 以上
2014-04-16 15:30:55 607
转载 个性化推荐技术
如果说过去的十年是搜索技术大行其道的十年,那么个性化推荐技术将成为未来十年中最重要的革新之一。目前几乎所有大型的电子商务系统,如Amazon、CDNOW、Netflix等,都不同程度地使用了各种形式的推荐系统。而近来以“发现”为核心的网站正开始在互联网上崭露头角,比如侧重于音乐推荐的八宝盒,侧重于图书推荐的豆瓣等等。 那么,一个好的推荐系统需要满足什么目标呢?个性化推荐系统必须
2014-04-09 16:01:12 1058
原创 快速均值滤波
采用积分图进行加速,实现与滤波窗口大小无关的效率积分图:图像I的积分图S是与其大小相同的图像,S的每一像素S(u,v)存贮的是I(u,v)左上角所有像素的颜色值之和。积分图可增量计算,只需对原图进行一遍扫描:S(u,v)=S(u,v-1)+sum(I(1:u,v))设滤波窗口大小为2w+1,滤波结果为图像O,则:Z=(2w+1)*(2w+1)
2013-12-04 23:44:14 3703
原创 高斯滤波
1.通过调整高斯函数的标准差(sigma)来控制平滑程度;2.滤波窗口大小取为[6*sigma-1]/2*2+1,[.]表示取整;3.利用二维高斯函数的行列可分离性进行加速;•先对每行进行一维高斯滤波,再对结果的每列进行同样的一维高斯滤波;clear;tic;P=imread('H:/数字图像处理/13_input.jpg');%
2013-12-04 23:26:45 2032
原创 图像变形
记[x’,y’]=f([x, y])为像素坐标的一个映射,实现f所表示的图像形变。f的逆映射为:其中:,都是中心归一化坐标,请先进行转换;clear; %此题是用双线性插值法实现图像缩放 I=imread('H:/数字图像处理/13_input.jpg'); %读入原图像,只需将此处的文件换成要变换的图片即可 %图像属性
2013-12-04 23:04:15 4015
原创 图像缩放
实验要求:实现一个图像缩放函数,可以对输入图像进行任意倍数的缩放; 1.采用双线性插值进行重采样; 2.X,Y方向的缩放倍数参函数参数的形式传入; 3.可以只考虑输入图像为3通道,8位深度的情况; 4.不能调用图像处理库的缩放函数来完成;
2013-12-04 22:15:16 1309
原创 MATLAB中M文件的使用
运行方法: 使用matlab的时候,可以在“Command Window”内直接书写matlab代码,也可以将代码保存到M文件中,然后运行该文件。使用matlab主界面菜单“File”->“New”->“M-File”可以打开一个文本编辑器编辑M文件。M文件及matlab的代码文件,在M文件编辑器的菜单中,选取“Debug”->“Run”即可运行。在路径设置正确的情况下,在“Command Win
2013-11-07 10:18:09 5765
原创 fatal error LNK1104: cannot open file ‘..../lib.obj
fatal error LNK1104: cannot open file ‘..../lib.obj解决方法:项目属性中,链接器->输入->附加依赖项,把..\lib”,改成..\lib\*.lib
2013-10-30 12:19:07 1912
原创 fatal error LNK1112: 模块计算机类型“ARM”与目标计算机类型“x64”冲突
Ogre 第一个程序出现 fatal error LNK1112: 模块计算机类型“ARM”与目标计算机类型“x64”冲突 错误解决方法:链接器 -> 命令行 -> 其他选项, 添加 /MACHINE:ARM
2013-10-30 11:57:11 4300
原创 图形学实验2-二维射击游戏
#include #include #include #include #include #include #include #include#include #include using namespace std; float bullet[5][2]={{250,30},{245,20},{245,0},{255,0},{255
2013-10-21 20:29:54 1178 2
原创 图形学实验1-绘制人脸
#include #include #include #include #include #include #include #includeusing namespace std; float xc;//鼠标左键按下时的x坐标float yc;//鼠标左键按下时的y坐标float dx;//移动距离float dy;fl
2013-10-21 20:21:23 1235
转载 Ogre1.8.1+VS2010环境配置(适用于Ogre1.9)
伟大航路,我把世界上的一切都放在了那里,有种的话就去领取吧”这是OGRE中文网的一则广告,我想,无论作为OGRE的学习者还是漫漫人生的一名旅人,这句话都是非常不错的激励语。放在这,是否能够让你隐约看到属于自己的新世界?Ogre(Object-oriented Graphics Rendering Engine)是一款优秀的C++开源图形渲染引擎。OGRE主要提供渲染引擎,但
2013-09-21 16:16:40 1839
转载 C++指针
错错错1、细说指针 指针是一个特殊的变量,它里面存储的数值被解释成为内存里的一个地址。 要搞清一个指针需要搞清指针的四方面的内容:指针的类型、指针所指向的 类型、指针的值或者叫指针所指向的内存区、指针本身所占据的内存区。让我们分别说明。先声明几个指针放着做例子:例一: (1)int*ptr; (2)char*ptr;
2013-09-18 21:44:36 554
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人