Spider Note4 基础知识点总结

个人笔记，无其他意图

基础知识点的学习

列表推导式

帮助我们快速生成包含一堆数据的列表

• 举例

[i+10 for i in range(10)]	# --->[10, 11, 12, ..., 19]
["10月{}日".format(i) for i in range(1,10)]		
'''
上述命令结果--->["10月1日", "10月2日", ..., "10月9日"]
'''
# format：字符串格式化的一种方法 
"stubborn{}vegeta".format(1/'1'/[1]/{1})  #/表示或者
"stubborn{}vegeta{}".format(1,2)

字典推导式

帮助我们快速生成包含一堆数据的字典

• 举例

{i+10:i for i in range(10)}	#--->{10:0, 11:1, ..., 19:9}
{"a{}.format(i)":10 for i in range(3)}	#--->{"a0":10, "a1":10, ...}

三元运算符

参照下例，如果if后面的条件成立，就把if前面的值赋给a，否则把else后面的值赋给a

a = 10 if 4>3 else 20	#a=10
a = 10 if 4<3 else 20  #a=20

写爬虫的讨论

url

• 知道url地址的规律和总的页码数，构造url地址的列表
• start_url

发送请求，获取响应

• requests

返回数据

• 返回json字符串：json模块
• 返回的是html字符串：lxml模块配合xpath提取数据

保存