- 博客(19)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 tensorflow serving+docker部署mnist模型以及gRPC调用
在上一篇博客中，我在自己的服务器上通过docker安装了tensorflow serving的GPU镜像环境，然后通过tensorflow serving源码中的简单的数值相加的模型进行了一个测试，docker tensoflow serving环境安装成功。接下来，可以使用tensorflow serving来部署mnist模型以及调用。第一步：训练mnist并保存模型使...
2020-06-29 16:35:50
1770
3
原创 Ubuntu16.04 + tensorflow serving + Docker环境安装
第一步，安装docker第二步，docker的tensorflow serving镜像安装，有两种，一个是CPU版本，一个是GPU版本（重要）在后面需要简单测试下tensorflow serving+docker环境是否成功，这里我们使用tensorflow serving源码中的模型，所以首先将tensorflow serving源码克隆到自己的电脑中，命令：git clone h...
2020-06-29 16:35:27
1616
3
原创 Docker + Tensorflow serving启动服务时怎么设置使用那块GPU
在前面的docker+tensorflow serving部署在线模型时，开启服务后GPU默认占用所有剩余的GPU，查找资料后，在命令行中加入即可：docker run --runtime=nvidia -p 8501:8501 \--mount type=bind,\source=/home/path/to//model/mnist,\target=/models/mnist \...
2020-06-29 16:34:29
2101
原创 ckpt模型转换为tf serving的saved model格式
最近这段时间又开始在弄部署问题，使用的是Google的Tensorflow serving框架，使用的环境是Ubuntu16.0.4+docker+tensorflow serving。如果需要知道这个框架怎么搭建，可以看我之前的博客https://blog.csdn.net/u012433049/article/details/88972850；模型部署测试https://blog.csdn.n...
2020-03-20 16:50:55
2442
12
原创 Docker + Tensorflow serving 多模型在线部署
前面介绍的Tensorflow serving启动服务时，会将我们的模型服务放到服务器端口，那么如果我们需要将多个模型同时放到该端口该怎么做呢？例如我们需要将dog-cat分类模型、目标检测模型同时放到端口上，用户可以根据具体地址来访问端口的不同模型，这时候就需要多模型部署了。 多模型部署与前面的模型部署步骤大致相同，就是多了一个多模型配置文件，这里用我的模型...
2019-04-30 16:55:44
3160
11
原创 python3爬虫学习笔记之Selenium+Chrome爬取中国青年网新闻内容（十）
Selenium+Chrome爬取中国青年网新闻内容，内含代码解释文档；该文件，主要是利用Selenium+Chrome爬取中国青年网的新闻链接，插入数据库，并根据链接爬取链接下的新闻内容再插入到数据库中，数据库使用的是MySQL，在python3中使用pymysql操作该数据库。代码见：https://download.csdn.net/download/u012433049/1178293...
2019-09-19 14:16:16
492
原创 python3爬虫学习笔记之分析动态渲染网页爬取Selenium+Chrome（九）
JavaScript动态渲染并不是只有Ajax这一种，一些页面并不能通过前面章节的分析方法分析并爬取数据，所以就有了模拟浏览器运行的方式来实现爬取，这样在浏览器中看到是什么样，抓取的源码就是什么样的，无需考虑用了什么方式渲染页面。Python提供了很多模拟浏览器的库，这里我们介绍selenium的使用。Selenium是一个自动化测试工具，利用它就可以驱动浏览器执行特定的人任务，如点击、下拉等...
2019-09-17 14:30:24
442
原创 python3爬虫学习笔记之分析Ajax爬取今日头条街拍美图（八）
通过以上第6章节的学习，我们应该学习到了Ajax请求页面的分析、提取等，该章节将通过一个实例来深入学习Ajax数据的爬取：抓取今日头条的街拍美图，抓取之后，将每组图片分文件夹下载到本地并保存下来。1. 准备工作环境安装，requests，BeautifulSoup等。2. 抓取分析在抓取之前，首先要分析抓取的逻辑，打开今日头条，并搜索框输入‘街拍’：打开开发者工具，切...
2019-09-16 18:07:40
459
原创 python3爬虫学习笔记之Ajax数据爬取（七）
有了以上章节的学习，相信一般静态网页的爬取已经是轻而易举的事情了，但是，在实际爬虫中，经常会遇到动态网页，在我们用requests抓取页面时，得到的结果和在浏览器中看到的不一样。Ajax数据爬取Ajax即一种异步加载数据的方式，原始的页面不会包含数据，原始页面加载完毕后，会向服务器请求接口获取数据，然后数据被处理再显示在页面上。现在的趋势是，原始HTML不包含任何数据，数据都是通过Ajax...
2019-09-16 17:37:01
410
原创 python3爬虫学习笔记之解析库的使用----BeautifulSoup篇（六）
Beautiful Soup是python的另一个HTML或XML解析库，可以很方便的提取网页中的数据，利用它可以省去很多繁琐的提取工作，提高了解析效率。首先从一个实例出发：html = """<html><head><title>The Dormoues's story</title></head><body>...
2019-09-16 11:17:01
329
原创 python3爬虫学习笔记之解析库的使用----XPath篇（五）
在上面一章中，我们实现了一个最基本的爬虫，但是提取页面信息时使用的是正则表达式，这样的话，万一哪个地方写错了，就会导致整个匹配失败，所以很不方便。对于页面的节点来说，它可以定义id、class或其他属性。节点之间还有层次关系，在网页中可以通过XPath或CSS选择器来定位一个或多个节点，然后通过调用响应方法获取它的正文内容或属性。python中，解析库已经很多，比较强大的解析库有lxml、...
2019-09-16 10:28:33
423
原创 python3爬虫学习笔记之利用requests和re模块抓取猫眼电影排行（四）
本节利用第二章和第三章学习内容，抓取猫眼电影top100的电影名称、时间、评分、图片等信息，并存储到MySQL数据库中，数据库看另外一篇。站点URL地址为：http://maoyan.com/board/4.（全部代码见maoyan_films.py）第一步：打开地址可以看到如下信息，网页中显示有效信息有影片名称、主演、上映时间、评分等。将网页滚动到最下方，可以发现有分页列表...
2019-09-16 09:48:17
531
原创 python3爬虫学习笔记之正则表达式（三）
通过前面章节的学习，我们可通过请求库向服务器发出请求，然后服务器返回结果，其中包含网页源码，那么怎么将这些源码解析为我们需要的形式，一种方式就是通过正则表达式来匹配得到。正则表达式是处理字符串的强大工具，有了它，实现字符串的检索、替换、匹配验证都不在话下。常用匹配规则 模式 描述 \w 匹配字母、数字和下划线 ...
2019-09-12 14:12:13
176
原创 python3爬虫学习笔记之请求库的使用（二）
我们在使用python爬虫时，需要模拟发起网络请求，主要用到的库有requests库和python内置的urllib库，一般建议使用requests，它是对urllib的再次封装，它们使用的主要区别：requests可以直接构建常用的get和post请求并发起，urllib一般要先构建get或者post请求，然后再发起请求。get请求：使用get方式时，请求数据直接放在url中。pos...
2019-09-12 13:52:07
962
原创 python3爬虫学习笔记之环境安装（一）
编写程序和运行代码之前，首先要做的就是将环境安装好。这里爬虫用的语言是python3，python安装就不介绍了。爬虫过程主要为：页面抓取、页面分析、数据存储。页面抓取主要用到的包为：requests和selenium。requests可用来抓取静态页面，当页面为动态页面时，就需要用selenium包加上浏览器才可抓取全面的页面。requests和selenium均可用pip安装（推荐），...
2019-09-11 14:37:58
312
原创 docker + openface进行人脸识别（初探）
前记 因为最近需要用到人脸识别技术，所以对openface的使用做了一个简单的测试，使用的是docker+openface+ubuntu环境，docker下安装openface比较简单，不会因为环境安装不成功而有各种问题。 在网上看到说openface这个开源框架的识别率还挺高的，还没具体的测试，后面看看效果怎么样。另外，openface是基于faceNe...
2019-05-31 17:30:08
3327
2
原创 TextBoxes++论文解读
最近拜读了白翔老师等的巨著TextBoxes++，现给出我看完论文之后的理解，和大家一起研究研究，小女子才疏学浅，如有错误，请多多指教，望不要嫌弃！（没有大片时间来写，可能需要一段时间完成）大家知道我们所知道的目标检测检测的目标框默认是矩形框，常见的物体检测，这种矩形框检测可能对物体识别的影响不是很大，但在图像中文字检测识别来说，检测非矩形框的文字区域对后面的识别是非常重要的，这篇论文就是给出...
2018-10-06 22:49:22
6291
13
原创 python shapely.geometry.polygon 实现 任意两个四边形的IOU计算
在目标检测中一个很重要的问题就是NMS及IOU计算，而一般所说的目标检测检测的box是规则矩形框，计算IOU也非常简单，有两种方法：1. 两个矩形的宽之和减去组合后的矩形的宽就是重叠矩形的宽，同比重叠矩形的高2. 右下角的minx减去左上角的maxx就是重叠矩形的宽，同比高然后 IOU = 重叠面积 / （两矩形面积和—重叠面积） 然，不规则四边形就不能通过这种方式来计算，找了...
2018-10-06 22:43:47
34271
18
原创 Windows下标注工具LabelMe的安装方法
最近由于检测问题需要标注图像中物体位置，之前用过ImgLabel工具，但是这个软件只能标注矩形位置的物体，而我需要的是标注多边形的物体（平行四边形），目前找到了一个几本适合我的工具，LableMe，在网上查找安装资料，出现了各种问题，好在最后都解决了，以下是labelMe工具安装步骤：一、安装annaconda工具这个网上有各种资料，傻瓜式安装（一定勾选添加系统环境path，后面需要在do...
2018-09-19 13:36:30
3103
Youth+Selenium+Chrome.rar
2019-09-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人