Python3
BatFor、布衣
hello
展开
-
目标检测——IOU和NMS计算
IOU交并比(Intersection-over-Union,IoU),在目标检测领域,通常指在图片中两个方框面积之间的交并比。给定两个方框C,G。则有:IOU(C,G)=area(C)⋂area(G)area(C)⋃area(G)其中area(C)代表方框C的面积,其它同理。 IOU(C,G) = \frac{area(C)\bigcap area(G)}{area(C)\bigcup area(G)} \\其中area(C)代表方框C的面积,其它同理。IOU(C,G)=area(C)⋃area(G原创 2020-07-23 16:30:40 · 3493 阅读 · 4 评论 -
目标检测之Faster R-CNN(附pytorch代码)
概念目标检测的任务就是不仅要对图片中的物体进行定位,而且还要将物体进行分类,同时还要输出分为此类的置信度概率。如下图:整体架构Dataset:数据,提供符合要求的数据格式(目前常用数据集是VOC和COCO)Extractor(有的文章也称为Backbone): 利用CNN提取图片特征features(原始论文用的是ZF和VGG16,后来人们又用ResNet101)RPN(Region Proposal Network): 负责提供候选区域rois(每张图给出大概2000个候选框)RoIHe原创 2020-07-08 15:53:53 · 4934 阅读 · 0 评论 -
基于BiLstm-Crf的文本实体抽取(附pytorch代码)
实体抽取实体抽取主要任务就是给定一段文本,从中抽取出实体类单词,实体类单词如人名、地名、组织名、时间等名词性单词,在具体的代码实现中,我们都是事先定义抽取哪几类实体单词,这个根据具体的训练数据集而定,比如人民日报数据集中,定义了人名、地点名、组织名三类实体,在模型训练完成之后,我们的任务就是对输入的句子进行三类实体单词的抽取,并识别出单词具体属于那一类实体。通过上面的介绍,我们会发现这个任务就是一个分类任务,对于中文,在代码实现上,我们是对每个字进行分类。只有一个词才属于一个实体类别,一个字怎么分类呢原创 2020-07-05 01:52:26 · 6109 阅读 · 2 评论 -
句子文本数据如何作为机器学习(深度学习)模型的输入(pytorch)
在我们做机器学习/深度学习时,如何表示一个文本数据并让计算机理解呢,很多深度学习框架,如pytorch,在接受文本数据时,我们都会采用Embedding层作为第一层,那它的作用是啥呢?以中文为例,在这之前,我们都会根据数据集中的所有文本数据构建出一个高频字/词典,中文一般都是构建字典,也就是将句子进行字符级切分,构成字典。比如,给定句子:“我我我我是是是你你爸爸,爸爸”,构建出来的字典文件如下:<PAD> 0我 1是 2你 3爸 4,5<UNK> 6说明:每原创 2020-07-02 01:08:56 · 7837 阅读 · 5 评论 -
TypeError: object of type class numpy.float64 cannot be safely interpreted as an integer.
运行别人在pytorch上实现的目标检测模型Faster-RCNN时,突然报了这个错误:TypeError: object of type <class ‘numpy.float64’> cannot be safely interpreted as an integer.查看了一下自己的numpy版本,发现是1.18.1,可能是版本过新的问题,所以尝试将numpy版本降到1.16。pip install numpy==1.16就OK了。...原创 2020-06-16 01:00:08 · 1501 阅读 · 0 评论 -
python3爬虫----人人贷散标用户信息爬取
前提本文基于此篇博文的实现思路以及给出的代码。不得不说,此博主心真的细,这个数据隐藏点都找到了,从而使得此爬虫的实现简单许多。但我在使用博主代码时,发现人人贷网站有些许改变,于是对应代码我也相应做了些许修改(主要加了cookie请求头信息,不加的话,有些数据为空,以及对一些数据字段的更新修改)。代码如下# coding=utf-8from requests.exceptions imp...原创 2020-03-17 15:20:05 · 2372 阅读 · 4 评论 -
TensorFlow2.0利用DNN实现手写图片识别
import tensorflow as tffrom tensorflow.keras.datasets import mnistimport numpy as npfrom sklearn.preprocessing import StandardScalerprint(tf.__version__)2.0.0##加载数据 60000条训练集 10000条测试集 ...原创 2019-12-25 00:37:02 · 1343 阅读 · 1 评论 -
Tensorflow2.0报错:ProfilerNotRunningError: Cannot stop profiling. No profiler is running.
今天在跟着视频学习TensorFlow2.0时,在使用TensorBoard回调函数时,突然就报了这个错,可能跟我的环境有关吧windows10 tensorflow2.0linux可能不会出现这个问题。源代码如下:logdir = "./callbacks"if not os.path.exists(logdir): os.mkdir(logdir)output_mode...原创 2019-12-13 15:15:23 · 2765 阅读 · 4 评论 -
菜单菜品信息爬取订餐小秘书网站———搜索引擎小作业
原文链接一、 实验目的 通过爬取订餐小秘书网站菜品图片来了解网络爬虫的开发过程,以及运行原理。二、 实验环境 Windows10+python3.5三、 实验材料 Python 代码四、 实验设计 1.首先爬取此网站中带有图片的网页地址 2.然后对这些地址发送请求,再对返回的 HTML 内容进行解析分割,获取其中的图片内容等信息。 流程图: 源代码:地址五、...原创 2019-10-21 17:15:18 · 582 阅读 · 0 评论 -
python3爬取百度贴吧相关主题的图片
import requestsfrom lxml import etreeclass Spider(object): def __init__(self): self.__headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (...原创 2019-10-20 12:14:02 · 133 阅读 · 0 评论 -
python3爬虫爬取中国天气网所有城市最低气温(打印前十个最低气温)
import requestsfrom bs4 import BeautifulSoupimport operatorclass Spider(object): def __init__(self): self.__headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x...原创 2019-10-20 12:01:24 · 425 阅读 · 0 评论 -
python3爬取豆瓣电影信息(前500部)
import requestsfrom bs4 import BeautifulSoupimport operatorfrom lxml import etreeimport jsonclass Spider(object): def __init__(self): self.headers={ 'User-Agent': 'Mozil...原创 2019-10-20 11:56:48 · 1005 阅读 · 0 评论