python爬虫（一）：五行代码的爬虫

当你觉得爬虫很难的时候，可能确实是你想多了，零基础只需五行代码即可编写一个爬虫程序！

 

写爬虫时基本是接下来的几大步骤：

1、发送请求request到服务器，服务器响应response浏览器
2、python3中requests(处理请求)，导包：import requests（用pip install requests直接安装）
3、requests.get(url,headers)自定义请求（请求头要模拟浏览器中的User-Agent【若需登录，则需要提供cookies】默认为none）
4、通过3可获取一个response对象，从中即可获取你所需要爬取的网页源码等信息

5、解析网页源码，网页源码中只有一部分是你需要的，这时需要用正则匹配出你所需要的信息，导包：import re

 

接下来以爬小说《斗破苍穹》为例：

网页为：http://www.biqugew.com/book/9/4448.html

# !/user/bin/env python
# -*- coding:utf-8 -*-
import requests

# 准备爬的网站url
url = 'http://www.biqugew.com/book/9/4448.html'
# 使用requests的get方法获取response对象
response = requests.get(url)
# 转换编码格式，不然显示文字格式不对
response.encoding = 'gbk'
# 输出网页源码
print(response.text)

运行之后是不是发现输出了该网页的源码呢，那么恭喜你，成功完成了第一个爬虫。