![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
文章平均质量分 63
Similar_Fair
鹅厂全栈咸鱼一条
展开
-
Django 无法从 request.POST 中获取URL传进来的参数
背景 上周做项目的时候,有个Post Webhook回调不仅在Body里传了数据,同时URL里也传了参数。request.POST这个QueryDict打印出来的值为{},无法获取URL中的参数。 原因分析 这种问题,首先就是看代码。 大概扫了下Request的代码,问题出在如下的位置: def _load_post_and_files(self): """Populate...原创 2020-03-22 19:09:57 · 2660 阅读 · 2 评论 -
Kafka For Python Producer.send() 会超时的原因分析
昨天在做方案调研,用python-kafka往 Kafka 里塞数据时发现了个很奇怪的问题:有的请求会阻塞60s后报错。 但我们都知道python-kafka是可以完全异步的,他自己用local-thread实现了异步的发送功能。并且看官方Producer API返回的是一个Future,理应不会卡住,但Block却实实在在的发生了,让人很费解。 排查问题 胡乱百度 因为我们用的是gunicorn...原创 2020-02-28 01:44:56 · 6527 阅读 · 0 评论 -
使用 Python Scrapy 爬取微博内容【二】
接上文。 根据实验,微博对于同一IP/Cookiess连续爬取允许时间大约为5min,所以为了连续的爬取,拥有多个账号&代理&User_Agent 是十分必要的。 账号这个我不多说,淘宝几毛钱的事情,但实现自动登录获取Cookies这个我没有研究过,但跟今天我要说的没什么关系。 今天我要说的是在Scrapy中使用代理来访问微博进而进行爬取。 首先我们得找到一些免费可用的代理服务器。网上有很多原创 2017-06-04 13:50:12 · 2023 阅读 · 0 评论 -
使用 Python Scrapy 爬取微博内容【一】
开始正文前,我先阐述下我的选择的解决方案:Scrapy+beautifulsoup+Re+pymysql,爬取weibo手机版(反爬技术较少,比较容易) Scrapy:爬虫框架,不多说 beautifulsoup:优秀的解析库,我用来解析lxml Re:正则表达式 pymysql:MySql思路简介跳过繁琐的Scrapy 各个功能模块的介绍,我说下我的大致思路: 每个用户都会有自己原创 2017-05-25 16:35:57 · 16410 阅读 · 5 评论 -
Django操作数据库实现注册&登录验证
前几天就做完了这个登录&注册的后台(我觉得做后台比做前端省事多了),一直没空写……今天抽空给他写出来做下记录。 Model 定义 没啥说的,直接放代码 from django.db import models class UserInfo(models.Model): user_id = models.IntegerField(primary_key=True) ...原创 2018-05-11 20:11:44 · 5489 阅读 · 0 评论