python 制作简单网站_python制作一个简单网络爬虫

这章我们用python标准库urllib2来实现简单的网络爬虫（本章很简单适合小白，不喜勿喷）

一、urllib2定义了以下方法：

urllib2.urlopen( URL, Data, timeout )

Data参数：POST数据提交（例如：账号密码发送给服务器判断登陆）

url参数：网页URL，可接受request对象。

返回一个类似于open文件对象 从中读取网页数据

urllib2.Request( URL, Data=None, headers={} )

注意R大写

Data为None时，发送的是GET请求，反之POST

二、urllib2小案例

python制作一个简单网络爬虫

import urllib

import urllib2

import re

if __name__ == '__main__':

url = "https://www.python.org/downloads/"

# GET请求官网下载地址 返回 对象.read()取出网页数据

res = urllib.urlopen(url).read()

# 编译为Pattern模式 匹配 取出列表中第一个数据

r = re.compile(r"Download the latest version for Windows[\s\S]+?[\

s\S]+?").findall(res)[0]

# 进行数据清洗

li = re.compile(r'a class="button" href="(.*?)">(.*?)<').findall(r)

# 进行输出

py3x = li[0]

py2x = li[1]

print py3x[1]+"："+py3x[0]+"\n"+py2x[1]+"："+py2x[0]

获得以下数据：

Download Python 3.6.0：https://www.python.org/ftp/py...

Download Python 2.7.13：https://www.python.org/ftp/py...

以上就是一个简单的网络爬虫，希望对你有所帮助。