大数据挖掘SparkExpert的博客

大数据智能相关理论、技术与工具的学习、理解和精通掌握过程集合

AI展示框架(9):ajax post避免2次提交的解决办法

在开发AI展示框架过程中,每一次ajax post都会触发两次的app route函数响应,尝试了诸多方法才得以解决,现将该方法记录如下: $('#exportForm').submit(function(e){ e.preventDefault(); e.stopImmedi...

2019-05-18 10:23:05

阅读数 4

评论数 0

AI展示框架(8):flask调用过程中出现kears加载模型两次报错的问题

在flask 网页程序中,碰到了一个奇怪的问题,当调用某个kears模型的时候,发现程序出现了BUG。 然而在单次调用的时候,程序并没有出现任何错误。 利用DEBUG调试了下,发现了主要在flask过程中,居然会出现两次POST处理的问题。而Keras在加载模型过程中,连续两次加载预训练模...

2019-05-18 09:32:17

阅读数 8

评论数 0

AI展示框架(7):基于dlib实现人脸检测及关键点检测

dlib是人脸识别与人脸特征关键点获取的常用库,最近实现了将该库集成到展示框架的实验。 其中现有的dlib常见的可获取68个关键点,当然还有5个关键点和81个关键点(包括额头)。因此编写了一个通用的小函数,如下: 该函数通过设置num_landmarks可以获取不同的关键点个数,如68,5和8...

2019-05-15 09:54:40

阅读数 55

评论数 0

AI展示框架(6):flask app route传递对象参数

在flask的页面链接跳转过程中,往往可能会存在传递参数对象的方法。然而正常的flask往往只支持少数的几种参数,对复杂的参数并不支持。找到的解决办法有两种: 一是:添加映射转换的方法,app.url_map.converters进行添加设置。如下: import BaseConverter...

2019-05-09 10:19:22

阅读数 26

评论数 1

AI展示框架(5):基于ajax + flask restful实现界面友好请求

flask程序提供了一种比较方便的render_template方法,可以实现对页面中一些结果的呈现。然而这种呈现方式需要以刷新整个页面为代价,非常不利于结果的呈现,特别是当页面中除了结果呈现的元素外,一些其他元素可能会面临被刷掉的问题。因此需要设置ajax模式来实现界面的友好请求处理。 具体策...

2019-05-06 15:29:12

阅读数 61

评论数 0

AI展示框架(4):基于flask的图像场景识别web程序构建

图像场景识别是DL+计算机视觉处理的入门程序之一,因此在构建AI展示框架的第一步,则是实现基于flask的图像场景识别。 整个过程非常简单,步骤如下:  (1)设置图像选择和上传的HTML脚本 <div class="box box-primary"&am...

2019-04-18 21:09:59

阅读数 723

评论数 1

AI展示框架(3):配置eclipse + pydev + flask中的html编辑器

eclipse + pydev并没有默认支持的html编辑器,因此在html页面设置的效率极其低下,因此需要进行配置。 网上有许多的html库,不过最终还是选择易于安装的库。 解决办法如下: (1)下载html editor的jar包:tk.eclipse.plugin.htmleditor...

2019-04-18 20:46:33

阅读数 394

评论数 0

AI展示框架(2):flask图像上传无法输入为图像识别程序的PIL图像的问题解决

在DL+图像场景识别的程序中,其输入大多需要PIL的图像格式,而flask上传的图像的格式如何转化为PIL的图像格式,这是碰到的问题之一,因此即时将之记录下来,虽然解决方法很简单。 错误解决办法一: image = Image.open(request.files["fullima...

2019-04-18 09:21:24

阅读数 397

评论数 0

AI展示框架(1):基于python + flask + adminLTE的实验框架搭建

出现了之前跟踪程序经常找不到的问题,同时想着对学习资料的总结有个更好的统一入口,于是筹划搭建一个web展示框架。 由于诸多DL程序均是用python库来开发,所以拟基于python库来构建。由于Django和Flask是GitHub上star数量最多的2个Python web框架,所以仅仅对这两...

2019-04-18 09:09:10

阅读数 576

评论数 1

图像目标检测之cascade-rcnn实践

最近一直在调试目标检测方面的模型,其中mmdetection中就集成了许多的目标检测模型。其中表现比较好的模型中有cascade-rcnn,因此也趁这个机会具体了解一下这个模型的发展脉络。 1、模型原理 在two-stage模型中,常见都会预测得到一些目标对象的候选框,这个候选框跟真实值之间一...

2019-03-15 15:37:57

阅读数 147

评论数 1

目标检测框架mmdetection框架的安装与测试

最近利用Conda终于成功安装了mmdetection,说实话,非conda的还真的不好装,特别在.complie的时候,即使成功,总是会出现各种问题,直到conda安装后,才明白之前的问题关键所在,即必须numpy为1.16.2版本,且pytorch需要为1.0版本。之前从release版本中下...

2019-03-06 16:23:27

阅读数 538

评论数 7

CRNN实现文本的识别测试

、自然场景文本提取是图像语义信息抽取的一个重要分支,它的实现需要CV和NLP技术,即既需要使用视觉处理技术来提取图像中文字区域的图像特征向量,又需要借助自然语言处理技术来解码图像特征向量为文字结果。 文本提取与识别技术是有着广泛的应用场景。已经被互联网公司落地的相关应用涉及了识别名片、识别菜单、...

2019-02-25 20:29:13

阅读数 348

评论数 0

基于gpt-2模型(117M预训练模型)的文本自动生成测试

openai的gpt-2模型最近在风口浪尖上。Language Models are Unsupervised Multitask Learners论文已经出来,但是由于该模型没有将训练过程开源出来,所以本博客仅仅是针对已经公布的117M的预训练模型进行测试。 1、论文贡献 In this p...

2019-02-22 17:27:22

阅读数 797

评论数 0

具有泛化能力的句子表征模型:Gensen评测实验

Learning General Purpose Distributed Sentence Representations via Large Scale Multi-task Learning(https://arxiv.org/abs/1804.00079)一文发表在 ICLR 2018,中,...

2019-02-21 08:25:23

阅读数 152

评论数 0

从监督数据中学习句子表示的方法InferSent评测实验

如何利用一些现成的句子语料来完成句子的嵌入表示,并支撑一些上层应用,是词嵌入技术在句子层面的一种拓展应用。 2017 年 Facebook 的研究人员 Conneau 等人提出的 InferSent 框架,它的基本思想: (1)先设计一个模型在斯坦福的 SNLI(Stanford Natura...

2019-02-20 11:48:45

阅读数 177

评论数 1

句子向量的统一评测工具(senteval)实验

现有句子嵌入表示是完成句子分类、句子相似性度量及一些高级任务的基础,那么句子嵌入表示效果如何评估,是一个相对重要的度量问题。 facebook研究员提出了一个句子向量的统一评测工具:senteval(https://github.com/facebookresearch/SentEval),该工...

2019-02-20 11:19:01

阅读数 208

评论数 0

python实现elastcsearch中timestampe(long)类型的date_histogram聚合测试

由于老版本的elasticsearch不支持date类型,因此之前的存储(5.0版本)都用了timestamp来进行设计。   当新的es版本(6.0)支持日期date_histogram统计聚合函数时,发现其interval可以设置相当灵活用于设置各种间隔,如下: Here are the...

2018-11-09 15:37:18

阅读数 124

评论数 0

ffmpeg每隔几帧(间隔)提取图片的方法

在一些视频分类任务中,往往需要从视频中提取指定帧,提取RGB信息然后进行训练和分类。 提取帧的方法有很多,不过在一些对时间限制比较大的场合,为了提高速度,会采用ffmpeg的方法来进行提取,因为目前它是相对最高效的办法。 ffmpeg提供了每隔几帧抽取的办法,但是这个函数没有现成的,在网上找了...

2018-11-09 08:31:11

阅读数 2145

评论数 0

python elasticsearch 批量写入测试

elasticsearch 是一个高效的近实时的数据库。最近要重新进行老版本的ES 数据迁移到新版本。由于以前都是采用java来进行连接的,不过这回为了方便,找了个python 连接包来进行处理。   本博客主要测试python elasticsearch 进行批量写入的测试 步骤一:安装p...

2018-11-06 16:55:12

阅读数 446

评论数 0

tensorflow-gpu安装及问题解决(ImportError: libcudnn.so.7,module 'tensorflow.python.training.checkpointable'

最近需要用GPU来进行tensorflow进行训练,发现需要安装cuda 9.0版本才可以,因为tensorflow默认的就是cuda 9.0,为了减少对tensorflow源码进行重构的时间,将之前的cuda8.0版本进行了卸载,然后再安装cuda 9.0 安装过程如下: # instru...

2018-10-06 19:18:48

阅读数 2855

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭