使用urllib爬取网页内容

urllib简介

用于处理一系列url的操作

• urllib.request:用于爬取页面内容
• urllib.parse:用于解析url

跟着顺序做即可

• 分析链接 http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=50
  关键词 kw
  防止乱码 ie
  pn 表示每页几行数据
• 导入我们使用到的包

import urllib.parse as up
import urllib.request as ur

• 根据刚刚的链接分析,定义字典存储需要使用到的参数

data = {
		'kw':'python‘，
		'ie':'utf-8',
		'pm':'200'  #第四页
		}

• 如果参数带有空格和特殊字符时使用.
  当字符串数据以url的形式传递给web服务器时,字符串中是不允许出现空格和特殊字符的,所以我们需要对参数 进行解码
  将特殊字符转换为*%E5%B0%B1%E4%B8%9A%E5%89%8D%E6%99%AF*这样的形式
  data_url=up.urlencode(data) #解码
data = up.unquote(data_url) #编码

• 请求链接

#data_url为刚编码后的数据
request = ur.Request('https://www.baidu.com/s?' + data_url)

• 获取页面
  response = ur.urlopen(request).read()
• 将页面存至本地

with open('%s.html' % kw, 'wb') as f:
    f.write(response)