![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
算法思想
文章平均质量分 87
来路与归途
来路慢慢,情不知所起;
归途遥远,眨眼便是过去。
展开
-
beam search
假设现在有一个简化版的中文翻译英文任务,输入和输出如下,为了方便描述搜索算法,限制输出词典只有{"I", "H", "U"} 这3个候选词,限制1个时间步长翻译1个汉字,1个汉字对应1个英文单词,这里总共3个汉字,所以只有3个时间步长。中文输入:"我" "恨" "你"英文输出:"I" "H" "U"目标:得到最优的翻译序列I-H-Uexhaustive search(穷举搜索)最直观的方法就是穷举所有可能的输出序列,3个时间步长,每个步长3种选择,共计种排列组合。 ...原创 2021-07-30 20:14:46 · 570 阅读 · 0 评论 -
n-gram语言模型
一、StatisticalLanguageModel在自然语言处理中的一个基本问题:如何计算一段文本序列在某种语言下出现的概率?之所为称其为一个基本问题,是因为它在很多NLP任务中都扮演着重要的角色。例如,"我经常会去图书馆____",预测该句后面的词。我们会通过已有的语料或上下文,来统计预测这句话可以填某个词的概率。将概率最大的作为预测结果返回。再比如机器翻译中,‘I like Tom so much.’ ===>{‘我’,‘喜欢’,‘汤姆’,‘非常’}将这个集合里的字词排列组合成句子,然...原创 2020-06-30 22:46:46 · 652 阅读 · 0 评论 -
top K问题研究
问题描述在海量数据中找出出现频率最好的前k个数,或者从海量数据中找出最大的前k个数,这类问题通常被称为top K问题;例如,在搜索引擎中,统计搜索最热门的10个查询词;在歌曲库中统计下载最高的前10首歌等。解决方法1. 分治+Trie树2.hash+小顶堆(最小堆)案例1.有1亿个浮点数,如果找出期中最大的10000个? 1.1、将数据全部排序,然后在排序后的集合中进行查找 最快的排序算法的时间复杂度一般为O(nlogn),如快速排序。但是在32...原创 2020-06-09 00:18:56 · 292 阅读 · 0 评论 -
NMS——非极大值抑制
非极大值抑制(NMS):去除掉与得分最高的目标框IOU值>thresh的目标框,保留与得分最高的目标框IOU值<thresh的目标框;算法:输入:dets[x1,y1,x2,y2,score]为框列表 ,thresh为IOU值1.将所有框按score值从大到小排序,将索引存储为列表order2.取order中的第一个值(对应为score最大的框)3.计算该框与其他框的I...原创 2019-12-22 00:03:01 · 174 阅读 · 0 评论 -
python字符串编码/解码
在Python2中,普通字符串是以8位ASCII码进行存储的,而Unicode字符串则存储为16位unicode字符串,这样能够表示更多的字符集。使用的语法是在字符串前面加上前缀 u。在Python3中,所有的字符串都是Unicode字符串。1.字符串编码 encode(encoding='UTF-8',errors='strict') 以 encoding 指定...原创 2019-08-23 14:51:00 · 1847 阅读 · 0 评论 -
图像压缩——聚类
步骤对图像特征进行分类,用每一类的中心点特征代替所属类所有点的特征1.图像(W,H,C)归一化2.将图像reshape成(W*H,C),即将图像看出W*H个C维特征点进行聚类3.随机选取1000个点,进行聚类训练,聚类为n_colors 类4.对图像W*H个点进行预测归类,返回该点所属的类(0~n_colors)函数说明1.KMeans聚类class sklearn...原创 2019-08-21 17:09:12 · 421 阅读 · 0 评论 -
聚类算法
概念:一种典型的无监督学习算法,主要用于将相似的样本自动归于一个类别中,对于不同的相似度计算方法,会得到不同的聚类结果,常用的相似度计算方法有欧式距离法步骤 : 1.设定聚类个数K的值(通过肘部法确定,或根据实际要聚的类数确定) 2.生成K个聚类中心点 3.计算所有样本到聚类中心点的距离,根据远近聚类 4.更新质心,迭代聚类...原创 2019-08-24 20:14:54 · 134 阅读 · 0 评论 -
聚类算法效果衡量标准
1.SSE—误差平方和:每类中的点到对应质心的欧氏距离平方的和 ,值越小,聚类效果越好与K值相关,只能取到确定k值的最优解,而不是全局最优解求每类中的点到对应质心的距离的和使用的函数:scipy.spatial.distance.cdist(XA, XB, metric='euclidean', p=None, V=None, VI=None, w=None),该函数用于计算...原创 2019-08-23 23:10:01 · 4266 阅读 · 0 评论 -
vgg19_net网络参数的下载与迁移
1.下载数据下载地址:http://www.vlfeat.org/matconvnet/models/beta16/imagenet-vgg-verydeep-19.matfrom urllib import request #回调函数,当连接上服务器、以及相应的数据块传输完毕的时候会触发该回调。我们可以利用这个回调函数来显示当前的下载进度。 def _p...原创 2019-06-17 16:14:59 · 1509 阅读 · 0 评论 -
FCN数据生成
1.下载数据下载地址:http://data.csail.mit.edu/places/ADEchallenge/ADEChallengeData2016.zipfrom urllib import request #回调函数,当连接上服务器、以及相应的数据块传输完毕的时候会触发该回调。我们可以利用这个回调函数来显示当前的下载进度。 def _progre...原创 2019-06-17 15:43:53 · 306 阅读 · 0 评论 -
RoIPooling、RoIAlign
功能:将不同size的ROI区域映射到固定大小的feature map上1.RoIPooling这个可以在Faster RCNN中使用以便使生成的候选框region proposal映射产生固定大小的feature map先贴出一张图,接着通过这图解释RoiPooling的工作原理 针对上图 1)Conv layers使用的是VGG16,feat_strid...原创 2019-06-13 20:36:19 · 444 阅读 · 0 评论 -
NMS——非极大值抑制
非极大值抑制(NMS):去除掉与得分最高的目标框IOU值>thresh的目标框,保留与得分最高的目标框IOU值<thresh的目标框;顾名思义就是抑制不是极大值的元素,搜索局部的极大值。例如在对象检测中,滑动窗口经提取特征,经分类器分类识别后,每个窗口都会得到一个分类及分数。但是滑动窗口会导致很多窗口与其他窗口存在包含或者大部分交叉的情况。这时就需要用到NMS来选取那些邻域里分数最...原创 2019-06-12 21:53:52 · 260 阅读 · 0 评论 -
算法思路总结
1.将一个列表截取为batch_size的整数倍,常用于深度神经网络训练a=[1,2,3,4,5,6]batch_size=4b=len(a)%batch_sizeprint(a[:-b])输出结果[1, 2, 3, 4]2.Faster RCNN锚点的生成步骤2.1将特征图上的每个点生成一个列表【x,y,x,y】def generate_anchors_pre(...原创 2019-05-19 16:56:14 · 242 阅读 · 0 评论