爬虫（二）笔记

数据提取方法

• 基础知识
• Json 知识点
• 正则表达式
• xpath和lxml

数据分类

• 结构化数据
  • Json,xml等
  • 处理方法：转化为python数据类型
• 非结构化数据
  • html
  • 处理方法：正则表达式，xpath

数据提取之JSON

由于把json 数据转化成python内建数据类型很简单，所以爬虫中，如果我们能够找到返回json数据的URL，就会尽量使用这种URL

json 是一种轻量级的数据交换格式，它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台之间的数据交互

如何找到json 的url

• 1.使用Chrome切换到手机页面
• 2，抓包手机app的软件（一般用不到）

json 字符串<->python数据类型转化

• json.loads（）把json字符串转化为python
• json.dumps() 把python类型转化为json字符串 当数据写到文本时，用到这个操作

re =requests.get(url,headers=headers)
html_str =re.content.decode()
ret1 =json.loads(html_str)
pprint(ret1)
print(type(ret1))
with open("douban.json","w",encoding='utf-8') as f:
    f.write(json.dumps(ret1,ensure_ascii=False,indent=2))
    #ensure_ascii用来显示中文，indent=2 是下一级对照上一级空两格，做换行

with open("douban.json","r",encoding='utf-8') as f:
    ret2=f.read()
    ret3 =json.loads(ret2)
    print(ret3)

我们也可以用f.write(str(ret1))进行写入，但是效果就不会这么多。

包含json的；类文件对象<->python数据类型

• json.load()
• json.dump()

具有read() 或者write() 方法的对象就是类文件对象
f =open(“a.txt”,“r”) ；f 就是类文件对象

# json.load() 提取类文件对象中的数据

with open("douban.json","r",encoding='utf-8') as f:
    ret4 =json.load(f)
    print(ret4)
    print(type(ret4))

# json.dump()能够把python类型放入到类文件对象中
with open("douban1.json","w",encoding='utf-8') as f:
    print(json.dump(ret1,f,ensure_ascii=False,indent=2))