- 博客(3)
- 收藏
- 关注
RSS订阅转载 反爬
1 通过cookie来反爬 如果目标网站不需要登录 每次请求带上前一次返回的cookie，比如requests模块的session 如果目标网站需要登录 准备多个账号，通过一个程序获取账号对应的cookie，组成cookie池，其他程序使用这些cookie通过headers中的User-Agent字段来反爬反爬原理：爬虫默认情况下没有User-Agent解决方法：请求之前添加User...
2019-02-22 21:48:00
107
转载 可变与不可变
"""s是判断的内存地址，==是判断的值可变数据类型：value值改变，id值不变；列表,字典,集合不可变数据类型：value值改变，id值也随之改变。数字,字符串,布尔,元祖"""# 1.数字a=2print(id(a))b=2print(id(b))c=3print(id(c))# 2.列表l=[1,2,3]print(id(l))l[0]=-1print(l)print(id(l)...
2019-02-21 14:55:00
77
转载 列表去重的几种方法
'''1. set去重'''a=[1,1,1,2,3,3,4,5,6,6,6]a1=list(set(a))print(a1)'''2.用itertools模块'''import itertoolsa = [1,1,1,1,2,3,43,5]a1=[]for i in itertools.groupby(a): a1.append(i)print(a1)'''groupby()把迭...
2019-02-21 14:51:00
296
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人