爬虫学习开篇（Python网络爬虫从入门到实践（第二版））

开启第一篇吧，总是觉得学习是一件反人类的事，要克服原罪的诱惑，还有中年人的借口。

技术，严格来事无聊的人类不得不不断研究提出和改进的东西，就像科学一样，让人困惑。

就像父亲小时候问我，你说什么是数学，什么是化学那，让人无法作答。

而如今我也只比那时的父亲小几岁了，岁月让人变老，但知识还是让我很难回答这问题。

也许是这个问题太大了吧，

但我更觉得是知识太多了，

让人无法说自己真正掌握了。

人类总是喜欢在有限的生命中，了解太多的东西，而现在又处于一个信息大爆炸的时代，所以让我们开始吧。

 

写了点废话，开启简单的爬虫吧

第一步：获取原始数据，使用包request

import requests
link = "https://www.csdn.net/"
headers = {'User-Agent' : 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
r = requests.get(link,headers = headers)
print(r.text)

注释：link：要爬取的网站；headers：骗过服务器的虚拟代理（百度浏览器User-Agent）；r：返回的数据。

第二步：分析数据，使用包bs4

from bs4 import BeautifulSoup
sou