python爬取数据的类型_Python爬虫总结（二）常见数据类型及其解析方法

Python爬虫总结(二)常见数据类型

上一篇我们简单介绍了如何用Python发送 http/https 请求获取网上数据,从web上采集回来的数据的数据类型有很多种,主要有:

放在HTML里.

直接放在javascript里.

放在JSON里.

放在XML里.

注意:这里很多概念都是web前端开发里的,因为我们采集的大多数数据都来自web,因此了解一些前端知识还是挺有必要的.

下面我简单介绍下各种数据类型,并结合一些实例介绍它们的解析方法.

数据类型

放在HTML里

HTML即超文本标记语言,目前大多数网页都是HTML写的,自然很多数据被存放在HTML中.

直接放在javascript里

javascript 作为最主要的前端开发脚本被广泛使用,很多关键数据被直接放到javascript 脚本里.

放在JSON里

json即JavaScript 对象表示法.它其实是独立于语言的,常常在javascript存储或异步传输(后面我们会详细讨论这个)的时候被用到.因为javascript 在web前端开发中的大量运用,json也成了web主要数据类型之一.

放在XMl里

XML指可扩展标记语言,被设计用来传输和存储数据。很多javascript 程序员喜欢用xml传输数据,而且有的网页是直接用XML编写的(而不是HTML).

实例

实例1-豆瓣电影"正在热映"信息采集

图1

在浏览器上右击->查看源代码(view page source):

图2

上一篇文章的爬虫程序爬取的豆瓣电影的页面就是图2这些HTML标签