爬虫学习笔记3——以text，json,csv格式的文件存储

最新推荐文章于 2023-02-22 11:45:00 发布

weixin_44874830

最新推荐文章于 2023-02-22 11:45:00 发布

阅读量236

点赞数

分类专栏：爬虫学习笔记文章标签： python json csv java javascript

本文链接：https://blog.csdn.net/weixin_44874830/article/details/104023218

版权

这篇博客介绍了Python爬虫中三种常见的数据存储格式：TXT文本、JSON和CSV。对于TXT，讲解了open函数的不同模式。JSON部分强调了其作为数据交换格式的特性，以及处理中文字符串的方法。CSV部分则阐述了如何结构化地存储和读取数据，包括列表和字典两种方式的写入操作。

摘要由CSDN通过智能技术生成

一.TXT文本存储

from pyquery import PyQuery as pq
import requests

url = 'https://www.zhihu.com/roundtable/lol2020'
headers = {
   'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64)'
	+' AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25'
	+' Safari/537.36 Core/1.70.3742.400 QQBrowser/10.5.3864.400'}
	
html = requests.get(url,headers = headers).text
#此处为text而非text（）
doc = pq(html)
#调用items（）函数，是pyquery对象变为一个generator
items = doc('.item-title a').items()

for item in items:
	#item.text()使一个pyquery对象转变为字符串形式
	print(item.text())
	#打开一个文档，如果不存在，则创建一个
	with open('zhihu_lol.txt','a',encoding='utf-8') as f:
		f.write(item.text()+'\n')