数据的提取方法
介绍
前面的课程中,我们学习了如何发送发送,对应的,回顾之前的爬虫流程,在发送完请求之后,能够获取响应,这个时候就需要从响应中提取数据了
内容
数据提取的基础概念和数据分类
json字符串的数据提取方法
正则表达式的复习
xpath语法的学习
LXML类库的学习
beautifulsoup的学习
字典:{‘username’:‘zhangsan’,‘score’:[10,20,30]}
json:{“username”:”zhangsan”,”score”:[{“shuxue”:10},{“yuwen”:20},{“yingyu”:30}]}
json中:{}代表对象,[]代表数组,{}与[]可以互相嵌套使用
数据提取的概念和数据的分类
学习目标
了解 爬虫的数据的分类
1 爬虫中数据的分类
在爬虫爬取的数据中有很多不同类型的数据,我们需要了解数据的不同类型来又规律的提取和解析数据.
结构化数据:json,xml等
处理方式:直接转化为python类型
非结构化数据:HTML
处理方式:正则表达式、xpath
下面以今日头条的首页为例,介绍结构化数据和非结构化数据
结构化数据例子:
非结构化数据
XML数据:
从上面可以看出,xml数据也是结构非常明显的
2 小结
爬虫中数据分类之结构化数据: json,xml
爬虫中数据分类之非结构化数据:Html,字符串
结构化数据处理的方式有:jsonpath,xpath,转换python类型处理,bs4
非结构化数据处理方式有:正则表达式,xpath,bs4
json的数据提取
学习目标
掌握 json相关的方法(load loads dump dumps)
掌握 jsonpath的使用(提取 json中的数据)
2 复习什么是json
JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式,它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景,比如网站前台与后台之间的数据交互。
3 json模块中方法的学习
其中类文件对象的理解:
具有read()或者write()方法的对象就是类文件对象,比如f = open(“a.txt”,”r”) f就是类文件对象
具体使用方法:
#json.dumps 实现python类型转化为json字符串
#indent实现换行和空格
#ensure_ascii=False实现让中文写入的时候保持为中文
json_str = json.dumps(mydict,indent=2,ensure_ascii=False)
#json.loads 实现json字符串转化为python的数据类型
my_dict = json.loads(json_str)
#json.dump 实现把python类型写入类文件对象
with open("temp.txt","w") as f:
json.dump(mydict,f,ensure_ascii=False,indent=2)
# json.load 实现类文件对象中的json字符串转化为python类型
with open("temp.txt","r") as f:
my_dict = json.load(f)
4 jsonpath模块的学习
4.1 jsonpath介绍
用来解析多层嵌套的json数据;JsonPath 是一种信息抽取类库,是从JSON文档中抽取指定信息的工具,提供多种语言实现版本,包括:Javascript, Python, PHP 和 Java。
4.2 JsonPath 对于 JSON 来说,相当于 XPath 对于 XML。
安装方法:pip install jsonpath
官方文档:http://goessner.net/articles/JsonPath
4.3 JsonPath语法:
4.4 语法使用示例
{ "store": {
"book": [
{ "category": "reference",
"author": "Nigel Rees",
"title": "Sayings of the Century",
"price": 8.95
},
{ "category": "fiction",
"author": "Evelyn Waugh",
"title": "Sword of Honour",
"price": 12.99
},
{ "category": "fiction",
"author": "Herman Melville",
"title": "Moby Dick",
"isbn": "0-553-21311-3",
"price": 8.99
},
{ "category": "fiction",
"author": "J. R. R. Tolkien",
"title": "The Lord of the Rings",
"isbn": "0-395-19395-8",
"price": 22.99
}
],
"bicycle": {
"color": "red",
"price": 19.95
}
}
}
4.5 代码示例:
我们以拉勾网城市JSON文件 http://www.lagou.com/lbs/getAllCitySearchLabels.json 为例,获取所有城市。
import requests
import jsonpath
import json
url = 'http://www.lagou.com/lbs/getAllCitySearchLabels.json'
response =requests.get(url)
html_str = response.content.decode()
# 把json格式字符串转换成python对象
jsonobj = json.loads(html_str)
# 从根节点开始,匹配name节点
citylist = jsonpath.jsonpath(jsonobj,'$..name')
fp = open('city.json','wb')
content = json.dumps(citylist, ensure_ascii=False)
fp.write(content.encode())
fp.close()
5 练习
爬取豆瓣电视剧上英剧和美剧两个分类的电视数据,地址:https://m.douban.com/tv/
6 小结
json的概念(JavaScript Object Notation)和json的作用数据交互时的一种数据格式
json模块中操作字符串和python类型互转的方法是dump,load
json模块中操作文件和python类型互转的方法是dumps,loads
jsonpath模块的安装 pip install jsonpath
jsonpath的解析根节点:$
jsonpath的解析子节点:.