![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
tornado
gogoout123
这个作者很懒,什么都没留下…
展开
-
tornado结合nginx实现后端防爬虫功能(一)
大部分程序员可能都有过“爬虫”的经历,使用python+scrapy可以很快的实现一个爬虫程序,爬取各种心仪的数据。但做为网站或数据提供方,则是极度讨厌这种“不劳而获”的行为的,公司辛辛苦苦积累的数据,几行代码就拿走了,因此会配置各种各样的防爬虫策略。因此现实中,上演着一场又一场的攻防大战。 防爬虫功能的本质就是区分是否为正常请求,常见的几种防爬虫手段有: IP访问频率限制; User-...原创 2019-05-18 00:12:09 · 803 阅读 · 1 评论 -
tornado多线程keras模型加载问题及解决方案
最近,在尝试利用tornado、tensorflow以及keras完成一个短文本分类模型训练及预测的服务。具体的逻辑是这样的:利用tornado封装一个server,然后主要提供三个API,train、apply以及predict。其中train用来传入一些参数进行模型训练,apply用于配置一个分类模型用于短文本预测,predict用来进行短文本的类别预测。因此需要有一个线程监听当前的模型配...原创 2019-05-27 19:22:27 · 2366 阅读 · 2 评论