爬虫-数据处理

数据提取

• 数据提取就是从响应中获取想要的数据的过程

数据分类

• 非结构化数据：html等

  • 处理方法：正则表达式、xpath

• 结构化数据：json、xml等

  • 处理方法：转化为python数据类型

抓包

• 抓包（packet capture）就是将网络传输发送与接收的数据包进行截获、重发、编辑、转存等操作。

JSON

• JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成，适用于进行数据交互的场景，比如网页前端与后端之间的数据交互。

寻找json数据中的url

• 使用chrome切换到手机页面
• 抓包手机app的软件

json数据与python数据类型的转换

• json字符串
  • json字符串使用loads()转换成python数据类型
  • python数据类型使用dumps()转换成json字符串
• 包含json的类文件对象
  • json类文件对象使用load()转换成python数据类型
  • python数据类型使用dump()转换成json类文件对象
  • 注：具有read()或者write()方法的对象就是