- 博客(3)
- 收藏
- 关注
RSS订阅原创 爬虫请求头一般设置
在爬取某股票网站的数据时，需先请求存于不同域名（服务器）的js文件 考虑到反爬机制，第二次请求时（主页为第一次），没有相关js设置cookie等请求头，并不需要设置多余的请求头，只需设置USER_AGENT及Referer，不需要其他的，像保持长短连接等，具体需利用浏览器查看请求头 后续请求都需要携带js生成的cookie及请求头...
2018-11-24 19:28:00
2742
原创 常见问题理解(二)
一、迭代器可迭代对象：我们把可以通过for...in...这类语句迭代读取一条数据供我们使用的对象称之为可迭代对象（Iterable）。列表、元组、字符串、字典都是可迭代的，而整数、浮点数、布尔数都是不可迭代的。可以使用 isinstance(对象, Iterable)判断一个对象是否是 Iterable 对象。迭代器：在遍历过程中有一个“人”去记录每次访问到了第几条数据，以便每次迭代都可以返回下...
2018-07-12 22:58:33
158
原创 常见问题理解(一)
一、同步与异步，阻塞与非阻塞的理解： 同步：程序在调用一个方法时，这个方法内部会一直计算返回值，直到得出结果才能返回。 异步：程序在调用一个方法时，这个方法可以把计算交给其他方法执行，而自己可以在得出返回值之前返回。举个例子： 在web开发中，用户注册的短信验证码发送，可以通过celery来执行发短信过程，而本方法可以立即返回。 阻塞：程序在调用方法时，方法所在的线程被挂起...
2018-07-10 20:29:02
157
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人