python爬虫实验报告_Python爬虫案例集合

urllib2

urllib2是Python中用来抓取网页的库，urllib2 是 Python2.7 自带的模块(不需要下载，导入即可使用)

在python2.x里面有urllib和urllib2;在python3.x里面就把urllib和urllib2合成一个urllib;urllib3是在python3.x了里面新增的第三方扩展。

urllib2 官方文档：https://docs.python.org/2/lib...

urllib2 源码：https://hg.python.org/cpython...

urllib2 在 python3.x 中被改为urllib.request

来先看一个简单的Demo,通过请求访问百度

import urllib.request

# 向指定的url地址发送请求，并返回服务器响应的类文件对象

response = urllib.request.urlopen("http://www.baidu.com/")

# 服务器返回的类文件对象支持Python文件对象的操作方法

# read()方法就是读取文件里的全部内容，返回字符串

html = response.read()

# 打印响应内容

print(html)

我们已经拿到百度的首页了，但是目前出现了第一个问题就是，当你使用urllib2去访问的时候，它的User-Agent是Python-urllib/3.6 (user-agent决定用户的浏览器)

我们需要稍微伪装下，要不然第一步就会被反爬虫发现

#!/usr/bin/env python

# -*- coding:utf-8 -*-

import urllib.request

# urllib2 的User-Agent: Python-urllib/2.7

# User-Agent 爬虫和反爬虫的第一步

ua_headers = {

"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Ge