数据提取方法
- 基础知识
- Json 知识点
- 正则表达式
- xpath和lxml
数据分类
- 结构化数据
- Json,xml等
- 处理方法:转化为python数据类型
- 非结构化数据
- html
- 处理方法:正则表达式,xpath
数据提取之JSON
由于把json 数据转化成python内建数据类型很简单,所以爬虫中,如果我们能够找到返回json数据的URL,就会尽量使用这种URL
json 是一种轻量级的数据交换格式,它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景,比如网站前台与后台之间的数据交互
如何找到json 的url
- 1.使用Chrome切换到手机页面
- 2,抓包手机app的软件(一般用不到)
json 字符串<->python数据类型转化
- json.loads()把json字符串转化为python
- json.dumps() 把python类型转化为json字符串 当数据写到文本时,用到这个操作
re =requests.get(url,headers=headers)
html_str =re.content.decode()
ret1 =json.loads(html_str)
pprint(ret1)
print(type(ret1))
with open("douban.json","w",encoding='utf-8') as f:
f.write(json.dumps(ret1,ensure_ascii=False,indent=2))
#ensure_ascii用来显示中文,indent=2 是下一级对照上一级空两格,做换行
with open("douban.json","r",encoding='utf-8') as f:
ret2=f.read()
ret3 =json.loads(ret2)
print(ret3)
我们也可以用f.write(str(ret1))进行写入,但是效果就不会这么多。
包含json的;类文件对象<->python数据类型
- json.load()
- json.dump()
具有read() 或者write() 方法的对象就是类文件对象
f =open(“a.txt”,“r”) ;f 就是类文件对象
# json.load() 提取类文件对象中的数据
with open("douban.json","r",encoding='utf-8') as f:
ret4 =json.load(f)
print(ret4)
print(type(ret4))
# json.dump()能够把python类型放入到类文件对象中
with open("douban1.json","w",encoding='utf-8') as f:
print(json.dump(ret1,f,ensure_ascii=False,indent=2))