- 博客(5)
- 收藏
- 关注
RSS订阅
原创 Python爬虫之模拟POST请求
Python爬虫之模拟POST请求POSTContent-typeapplication/x-www-form-urlencoded请求报文样式multipart/form-data请求报文样式application/json请求报文样式text/xml请求报文样式flask 获取参数的几种方式方式request.argsrequest.formrequest.valuerequest.datar...
2020-04-08 15:19:17
1473
原创 一个简单的沪深A股分布式爬虫
目标 获取所有A股最近300个交易日的日K数据。 思路 通过一台 redis 数据库创建一个任务队列，存放所有的 A股股票代码，所有的爬虫共享这个队列。 爬虫程序循环不断地从队列中拿到股票代码，然后模拟请求，从东方财富网获取最近300个交易的数据,解析后，存入mysql数据库。 实现 整个程序分为两部分，RedisServer 负责从上交所、深交所获取所有的 A股股票代码，然后放入redis中的 ...
2020-03-14 13:42:25
382
原创 flask 接收文件
前端上传文件 前端需要以 multipart/form-data 的方式来提交需要上传的文件或其他参数。 使用 postman 模拟上传文件 首先要在 Body 里设置提交参数的方式为 form-data，选择参数类型为 File，然后选择需要上传的本地文件。 使用 python requests 上传文件 import requests from requests_toolbelt import MultipartEncoder # 用MultipartEncoder函数对参数进行编码 # 如果要
2020-06-01 11:25:43
6649
1
原创 python requests通过session管理cookie，维持会话
一些需要登录的网站，可以通过requests.session()来管理cookie，来实现会话的维持。 1、新建 session 对象 import requests S = requests.session() 2、为 session 设置初始 cookie，可以通过 S.cookies = cookies 来设置，但是需要 cookjar 格式 # 自定义一个函数，用来将浏览器中的 co...
2020-03-04 17:19:30
1189
原创 用python开发一个记账的微信公众号
简单介绍 因为本人平常有记账的习惯，所以突发奇想，想做一个可以记账的公众号。 先贴上公众号的二维码，有兴趣的朋友可以尝试一下。 具体使用方法： 1、消费记录 可以把一些日常消费按照一个格式发送给公众号，格式为"时间 消费项目 金额"或"消费项目 金额"，时间和消费项目、消费项目和消费金额之间一定要加空格，例如"2.17 早餐 6"、“午餐 15”，时间格式目前只支持"月份.日期" ，如果不加时间...
2020-02-17 23:27:52
818
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人