python爬虫json_python爬虫数据提取一之json

1 数据提取

什么是数据提取？ 简单的来说，数据提取就是从响应中获取我们想要的数据的过程

1.1 数据分类

非结构化数据: html , 文本等 处理方法：正则表达式，xpath语法

结构化数据：json，xml等 处理方法：转换为python数据类型

2 复习JSON知识

JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式，它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台之间的数据交互。

2.1 为什么要使用JSON？

把json格式字符串转化为python字典类型很简单，所以爬虫中，如果我们能够找到返回json数据格式字符串的url，就会尽量使用这种url 如何找到返回json的url呢？ 1、使用浏览器/抓包工具进行分析 wireshark(windows/linux),tcpdump(linux) 2、抓包手机app的软件

json简单说就是javascript中的对象和数组，所以这两种结构就是对象和数组两种结构，通过这两种结构可以表示各种复杂的结构

对象：对象在js中表示为{ }括起来的内容，数据结构为 { key：value, key：value, ... }的键值对的结构，在面向对象的语言中，key为对象的属性，value为对应的属性值，所以很容易理解，取值方法为 对象.k