大数据智能
将在大数据分析与人工智能方面的实践和复现等进行记录
sparkexpert
大数据挖掘技术(人工智能)的爱好者
展开
-
AI展示框架(6):flask app route传递对象参数
在flask的页面链接跳转过程中,往往可能会存在传递参数对象的方法。然而正常的flask往往只支持少数的几种参数,对复杂的参数并不支持。找到的解决办法有两种:一是:添加映射转换的方法,app.url_map.converters进行添加设置。如下:import BaseConverterclass StrListConverter(BaseConverter): """Mat...原创 2019-05-09 10:19:22 · 1058 阅读 · 1 评论 -
AI展示框架(5):基于ajax + flask restful实现界面友好请求
flask程序提供了一种比较方便的render_template方法,可以实现对页面中一些结果的呈现。然而这种呈现方式需要以刷新整个页面为代价,非常不利于结果的呈现,特别是当页面中除了结果呈现的元素外,一些其他元素可能会面临被刷掉的问题。因此需要设置ajax模式来实现界面的友好请求处理。具体策略如下:(以中文分词展示界面为例)特别注意:{{ super() }}这一行必须呈现,从而引用上一...原创 2019-05-06 15:29:12 · 685 阅读 · 0 评论 -
AI展示框架(4):基于flask的图像场景识别web程序构建
图像场景识别是DL+计算机视觉处理的入门程序之一,因此在构建AI展示框架的第一步,则是实现基于flask的图像场景识别。整个过程非常简单,步骤如下: (1)设置图像选择和上传的HTML脚本<div class="box box-primary"> <form role="form" action="{{ url_for('cv_image_recognize...原创 2019-04-18 21:09:59 · 3505 阅读 · 3 评论 -
AI展示框架(3):配置eclipse + pydev + flask中的html编辑器
eclipse + pydev并没有默认支持的html编辑器,因此在html页面设置的效率极其低下,因此需要进行配置。网上有许多的html库,不过最终还是选择易于安装的库。解决办法如下:(1)下载html editor的jar包:tk.eclipse.plugin.htmleditor_2.2.0.jar,将之放置到eclipse软件目录下的dropins。附分享地址:链接:htt...原创 2019-04-18 20:46:33 · 768 阅读 · 0 评论 -
AI展示框架(2):flask图像上传无法输入为图像识别程序的PIL图像的问题解决
在DL+图像场景识别的程序中,其输入大多需要PIL的图像格式,而flask上传的图像的格式如何转化为PIL的图像格式,这是碰到的问题之一,因此即时将之记录下来,虽然解决方法很简单。错误解决办法一:image = Image.open(request.files["fullimage"]) 出现错误,还是无法识别图像错误解决办法二:image = Image.open(r...原创 2019-04-18 09:21:24 · 1626 阅读 · 0 评论 -
AI展示框架(1):基于python + flask + adminLTE的实验框架搭建
出现了之前跟踪程序经常找不到的问题,同时想着对学习资料的总结有个更好的统一入口,于是筹划搭建一个web展示框架。由于诸多DL程序均是用python库来开发,所以拟基于python库来构建。由于Django和Flask是GitHub上star数量最多的2个Python web框架,所以仅仅对这两个来进行测试。思路一:基于python + django的方式来构建经过实验,发现这种djan...原创 2019-04-18 09:09:10 · 4114 阅读 · 2 评论 -
AllenNLP系列文章之一:初识AllenNLP和代码重构
AllenNLP是一个相对成熟的基于深度学习的NLP工具包,它 构建于 PyTorch 之上,它的设计遵循以下原则:(1)超模块化和轻量化。你可以使用自己喜欢的组件与 PyTorch 无缝连接。(2)经过广泛测试,易于扩展。测试覆盖率超过 90%,示例模型为你提供了很好的模板。(3)真正的填充和覆盖,让你可以毫无痛苦地轻松实现正确的模型。(4)易于实验。可以通过符合 json 规范的全面记录重...原创 2018-04-06 21:35:53 · 6986 阅读 · 4 评论 -
AllenNLP系列文章之二:命名实体识别
命名实体识别是AllenNLP的核心模块之一。在官网上介绍如下:Named Entity RecognitionThe named entity recognition model identifies named entities (people, locations, organizations, and miscellaneous) in the input text. This model...原创 2018-04-06 21:52:56 · 4773 阅读 · 5 评论 -
AllenNLP系列文章之三:机器阅读
机器阅读也是AllenNLP提供的功能模块之一。其Models介绍如下:Machine ComprehensionMachine Comprehension (MC) models answer natural language questions by selecting an answer span within an evidence text. The AllenNLP MC model ...原创 2018-04-08 21:09:35 · 1642 阅读 · 0 评论 -
AllenNLP系列文章之四:指代消解
指代消解是自然语言处理的一大任务之一,它是信息抽取不可或缺的组成部分。在信息抽取中,由于用户关心的事件和实体间语义关系往往散布于文本的不同位置,其中涉及到的实体通常可以有多种不同的表达方式,例如某个语义关系中的实体可能是以代词形式出现的,为了更准确且没有遗漏地从文本中抽取相关信息,必须要对文章中的指代现象进行消解。指代消解不但在信息抽取中起着重要的作用,而且在机器翻译、文本摘要和问答系...原创 2018-04-09 21:43:20 · 15095 阅读 · 10 评论 -
AllenNLP系列文章之五:语义角色标注
序列标注,是自然语言处理的基础工作,它广义上可以将分词、词性标注、实体识别、依存分析等NLP的基础工作都涵盖在内。序列标注问题是NLP中最常见的问题,因为绝大多数NLP问题都可以转化为序列标注问题,虽然很多NLP任务看上去大不相同,但是如果转化为序列标注问题后其实面临的都是同一个问题。所谓“语义角色标注”,它是句子分析的重要工具之一。语义角色标注(SRL)系统的目标是恢复一个句子的谓词-...原创 2018-04-09 21:59:41 · 3992 阅读 · 0 评论 -
AllenNLP系列文章之六:Textual Entailment(自然语言推理-文本蕴含)
自然语言推理是NLP高级别的任务之一,不过自然语言推理包含的内容比较多,机器阅读,问答系统和对话等本质上都属于自然语言推理。最近在看AllenNLP包的时候,里面有个模块:文本蕴含任务(text entailment),它的任务形式是:给定一个前提文本(premise),根据这个前提去推断假说文本(hypothesis)与premise的关系,一般分为蕴含关系(entailment)和矛盾关系(c...原创 2018-04-11 09:23:34 · 19100 阅读 · 1 评论 -
AllenNLP系列文章之七:ELMO
在AllenNLP的主页上有个单独的菜单(http://allennlp.org/elmo),一直不太了解为何将它单列出来,主要在AllenNLP的许多任务中如文本蕴含里面等已经用到了这个模型所产生的词向量。 1、论文原理 从其主页上的介绍可知,该论文来自NAACL2018的论文。IntroductionELMo is a deep contextualized word represen...原创 2018-04-27 07:02:52 · 15600 阅读 · 1 评论 -
pytorch的开源对话框架ParlAI系统实践
最近抽点时间将ParlAI代码进行重构和调试之后,发现其代码设计风格类似于工厂模式,非常便于插入式开发,算是接触过的python代码框架中比较棒的一个。 1、框架基本介绍在facebook的github官网(https://github.com/facebookresearch/ParlAI)上对其介绍为对话系统框架。即:ParlAI (pronounced “par-lay”) is a ...原创 2018-04-20 22:18:30 · 2491 阅读 · 0 评论