Python
文章平均质量分 66
gogoout123
这个作者很懒,什么都没留下…
展开
-
Python加载自定义模块
Python加载自定义脚本有如下三种模式: 模式1: 主函数(main.py)与待引用模块(import1.py)位于同一目录(Import_Test1)下则此时直接使用from import1 import *即可将import1模块中所有函数引入;模式2: 主函数(main.py)与待引用模块(import2.py)位于不同目录, 且import2脚本所在目录为普通目录则可以...原创 2018-09-03 19:53:11 · 628 阅读 · 0 评论 -
tornado多线程keras模型加载问题及解决方案
最近,在尝试利用tornado、tensorflow以及keras完成一个短文本分类模型训练及预测的服务。具体的逻辑是这样的:利用tornado封装一个server,然后主要提供三个API,train、apply以及predict。其中train用来传入一些参数进行模型训练,apply用于配置一个分类模型用于短文本预测,predict用来进行短文本的类别预测。因此需要有一个线程监听当前的模型配...原创 2019-05-27 19:22:27 · 2392 阅读 · 2 评论 -
python3连接redis数据格式设置
python3一个很重要的改进是解决了python2中编码的重大缺陷。字符串和二进制数据流做了明确的区分。文本总是Unicode,由str类型表示,二进制数据则由bytes类型表示。我们在调用redis时,...原创 2019-05-18 00:30:40 · 449 阅读 · 0 评论 -
tornado结合nginx实现后端防爬虫功能(一)
大部分程序员可能都有过“爬虫”的经历,使用python+scrapy可以很快的实现一个爬虫程序,爬取各种心仪的数据。但做为网站或数据提供方,则是极度讨厌这种“不劳而获”的行为的,公司辛辛苦苦积累的数据,几行代码就拿走了,因此会配置各种各样的防爬虫策略。因此现实中,上演着一场又一场的攻防大战。 防爬虫功能的本质就是区分是否为正常请求,常见的几种防爬虫手段有:IP访问频率限制;User-...原创 2019-05-18 00:12:09 · 819 阅读 · 1 评论 -
如何优雅的使用腾讯词向量: 基于redis集群&elasticsearch的姿势
2018年10月份,腾讯AI Lab开源了大规模高质量的中文词向量数据,包含了8824331个常用词的向量表示,维度为200。当前,向量表示已经成为nlp的重要基础功能,从我个人角度而言,其地位等同于搜索引擎中的分词功能,是注入词性标注、命名实体识别、情感分类等后续任务的基础步骤。关于腾讯词向量的进一步细节大家可以参考tencent embedding。 关于词向量的使用,腾讯AI Lab...原创 2019-05-26 22:53:10 · 3284 阅读 · 0 评论 -
体验百度云智能自然语言处理
当前,像百度、腾讯、阿里巴巴等厂商在云服务的基础上,提供了包括图像处理、音频处理、自然语言处理等一系列功能甚至各种相关解决方案,这也是大厂的标志之一,所以即使百度市值可能已经低于一些后期之秀,但仍是中国互联网的重要一极,因为提供这些技术是衡量一家公司技术积累的重要标志。 作者主要做自然语言处理相关的工作,因此主要关注了BAT三家厂商关于nlp的一些服务,其中百度的相关服务更全面一些,除分词...原创 2019-05-26 21:18:16 · 1140 阅读 · 0 评论 -
利用bert-serving-server搭建bert词向量服务(一)
Bert是去年谷歌发布的一款新模型,在11个主流NLP任务中都取得优异的结果,因此成为NLP领域最吸引人的一个模型。它的核心思想在于:作者认为语言表示存在一个通用模型,而具体到专业领域,可以对通用模型进行精炼(fine-tune)来实现更加好的效果。从技术角度而言,它采用了transformer等技术搭建了一个更深的深度网络。受限于作者能力,模型细节不能详细解释,大家可以参看官方介绍或51...原创 2019-05-19 22:22:17 · 18469 阅读 · 15 评论 -
构建python3 docker镜像
在打包镜像时,centos原生镜像中python版本为2.7。如果我们的服务基于python3版本,则需要手动安装。在安装时,有一点需要注意的是:由于系统中某些服务以来python2.7版本,因此不要去删除或修改系统中python的默认版本,否则会产生不可预知的后果。下面给出一个python3镜像打包示例:# base imageFROM centos:7.2.1511# install r...原创 2019-05-13 19:05:59 · 2105 阅读 · 0 评论 -
Leetcode_Ex2: 数组之和三等分问题
1. 问题描述该问题是leetcode上一道难易程度为easy的题目,原题如下:Given an array A of integers, return true if and only if we can partition the array into three non-empty parts with equal sums.Formally, we can partition the...原创 2019-03-28 22:42:09 · 1117 阅读 · 0 评论 -
Leetcode_Ex3: 单比特/双比特编码问题
1. 问题描述该题目是Leetcode上一道Easy的题目,[原题描述如下][https://leetcode.com/problems/1-bit-and-2-bit-characters/]:We have two special characters. The first character can be represented by one bit 0. The second char...原创 2019-03-31 23:28:43 · 570 阅读 · 0 评论 -
树莓派实践系列1-DHT11传感器获取当前温湿度
绪:树莓派买了有一段时间了,也折腾了几次,总想着做些分享,却又多次耽搁,今日立下Flag:两周更新一次折腾日志。 简介:树莓派最初发布于2012年,当前已经发布了8个版本,如下图,详情参见官网链接:https://www.raspberrypi.org/products/。引用树莓派实验室的一句话来介绍树莓派:树莓派虽小,五脏俱全,它给爱折腾的极客们提供了一种新的玩具。本次将分享...原创 2018-12-11 00:26:10 · 2499 阅读 · 1 评论 -
使用python连接kafka
kafka简介 kafka是高吞吐的消息队列系统,轻松支持每秒百万级的写入请求,这种特性也使得Kafka在日志处理等海量数据场景广泛应用。kafka依赖于zookeeper运行,zookeeper充当了协调和管理kafka集群的任务,并且存储一些meta信息。此处,因作者能力有限,不详细讨论kafka与zookeeper的内部细节。 kafka采用的是一种发布-订阅的消息发布模型:消息模型...原创 2019-06-30 15:50:37 · 1778 阅读 · 0 评论