自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(3)
  • 收藏
  • 关注

原创 爬虫请求头一般设置

在爬取某股票网站的数据时,需先请求存于不同域名(服务器)的js文件 考虑到反爬机制,第二次请求时(主页为第一次),没有相关js设置cookie等请求头,并不需要设置多余的请求头,只需设置USER_AGENT及Referer,不需要其他的,像保持长短连接等,具体需利用浏览器查看请求头 后续请求都需要携带js生成的cookie及请求头...

2018-11-24 19:28:00 2742

原创 常见问题理解(二)

一、迭代器可迭代对象:我们把可以通过for...in...这类语句迭代读取一条数据供我们使用的对象称之为可迭代对象(Iterable)。列表、元组、字符串、字典都是可迭代的,而整数、浮点数、布尔数都是不可迭代的。可以使用 isinstance(对象, Iterable)判断一个对象是否是 Iterable 对象。迭代器:在遍历过程中有一个“人”去记录每次访问到了第几条数据,以便每次迭代都可以返回下...

2018-07-12 22:58:33 158

原创 常见问题理解(一)

一、同步与异步,阻塞与非阻塞的理解:    同步:程序在调用一个方法时,这个方法内部会一直计算返回值,直到得出结果才能返回。    异步:程序在调用一个方法时,这个方法可以把计算交给其他方法执行,而自己可以在得出返回值之前返回。举个例子:    在web开发中,用户注册的短信验证码发送,可以通过celery来执行发短信过程,而本方法可以立即返回。    阻塞:程序在调用方法时,方法所在的线程被挂起...

2018-07-10 20:29:02 156

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除