Python爬虫学习第二章-7-文件存储与使用requests模块的回顾

Python爬虫学习第二章-7-文件存储与使用requests模块的回顾

  这一节是文件存储与使用requests模块的回顾

文件保存：

fp = open('./alldata.json','w',encoding='utf-8')
json.dump(all_data_list,fp=fp,ensure_ascii=False)  # 存到json文件中
fp.close()

filename = kw+'.html'
with open(filename,'w',encoding='utf-8') as fp:
	fp.write(page_text)

filename = word+'.json'
fp = open(filename,'w',encoding='utf-8')
json.dump(dic_obj,fp=fp,ensure_ascii=False) #拿到的json串中有中文，而中文不能使用ASCII码进行编码，所以ensure_ascii应该是Fasle
fp.close()

注意如果是保存图片的话，得指定图片的保存的保存地址，如：

img_name = li.xpath('./a/img/@alt')[0]+'.jpg'
#较为通用的处理中文乱码的方案
img_name = img_name.encode('iso-8859-1').decode('gbk')#为了解决标题乱码的问题
#print(img_name,img_src)
#请求图片并进行持久化存储
img_data = requests.get(url=img_src,headers=headers).content #注意图片是二进制数据，得用content属性
img_path = 'Piclibs/'+img_name #定义图片存储的路径

回顾：

模拟浏览器发起请求：指定url——》进行UA伪装——》进行参数处理（有则处理，无责跳过）——》发起请求——》获取数据——》持久性存储