Python抓取HTML

一. 抓取网页的三个步骤(个人表面的理解)

1. 抓取HTML字符串.

2. 分析HTML字符串.

3. 对分析结果做自己想做的处理.

4. 你也可以做一些其他事情, 例如定时请求(POST, GET等)

二. 抓取HTML字符串

1. 方法1

#!/usr/bin/env python
# Python 2.7.3
# A001_Get_HTML.py
# 检查抓取网页的HTML文本并显示
import urllib2
response = urllib2.urlopen('http://www.baidu.com/')
htmlStr = response.read()
print(htmlStr)

2. 方法2

#!/usr/bin/env python
# Python 2.7.3
# A001_Get_HTML.py
# 检查抓取网页的HTML文本并显示
import urllib2  
req = urllib2.Request('http://www.baidu.com')# Request也可以
response = urllib2.urlopen(req)  
htmlStr = response.read()  
print(htmlStr)

3. GET 方法

在www.baidu.com网页中的搜索框中输入"你好", 按一下"百度一下