Python爬虫系列（一）——手把手教你写Python爬虫

1. 什么是爬虫？

根据百度百科的定义，网络爬虫，又称为网页蜘蛛，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。

人们如今的生活，大都离不开网络，发一条微信，电子支付买一杯奶茶，刷一条微博，等等，都依赖于网络的便携性。但是，互联网茁壮成长的同时，海量的信息每天也会以指数级增长的方式充斥到网络环境中，那么如何快速高效地找到我们需要的信息，成为了很关键的功能，于是搜索引擎诞生了。搜索引擎替我们把很多网络信息做了筛选，当我们查询某项内容时，搜索引擎可以计算出一个排名，来展现查询相关的内容。那么面对海量的信息，搜索引擎就是利用爬虫对数据进行了整合和筛选操作，为人们在网络海洋中快速挖掘有用的信息提供了便利。

既然搜索引擎这么好用了，那么我们为什么还要写爬虫？是因为有时我们有更加个性化的搜索需求，比如我们希望获取猫眼电影中排名前一百名的电影的评论内容，并根据评论做情感分析。面对这个需求，搜索引擎的作用就比较局限了。那么要实现这个功能，第一步的获取出这些相关信息就需要我们动手写爬虫了。

很多语言都可以写爬虫，包括python，java、c++等。而Python本身是开源的，很多大佬为Python的功能扩展写了很多成熟的工具，也就是网络上常说的xx库，我们可以利用这些工具快速实现我们的需求，比较好入门。

另外，需要强调的是，网络上并不是什么东西都可以爬，针对这个问题，我国有着一套完备的法律。爬了不该爬的内容，比如大量个人信息，那可以快速实现“从入门到入狱”。

2. 了解网页

网页一般由三部分组成，分别是 HTML（超文本标记语言）、CSS（层叠样式表）和 JS（活动脚本语言）。

我们每次请求数据，服务器都会把由这三部分组成的内容发送过来，再经浏览器编译，就出现了我们看到的界面。实际上爬虫获取信息也是相似的流程，向服务器请求数据，请求到的数据存储到内存中，然后解析出我们想要的信息。

每个浏览器关于查看网页源码有着不同的操作，以谷歌浏览器为例，是在页面中点击鼠标右键，再选择“检查”，在出现的框中选择元素（Elements），我们使用爬虫查询的内容也就包含在这些元素中。

比如，我们可以找到百度首页内热搜的第一条数据信息。（鼠标指向某一行，相应的内容就会以“蓝框”的形式在界面中标记出来）

3. 爬取CSDN页面信息演示

比如我就要爬我在CSDN的主页信息（红框部分）

1. 分析页面

第一步，分析页面，找到这些数据在哪。

打开元素，当鼠标停留在下图这一行时，界面上的这一部分内容被蓝框选中，表示数据就在这个div内

接着往下找，可以找到一个列表，包含了四个元素，分别对应了界面上的四条数据。

打开其中一个，我们就找到了这个数据。(其它数据同理)

2. 导包

既然使用python，我们就要利用python成熟的工具，这个示例需要用到三个包。

• requests
• bs4
• lxml

requests翻译为“请求”，这个库就是帮助我们向服务器中请求数据的工具；BeautifulSoup是解析工具，它可以解析网页数据，可以快速提取出所需要的信息，如今BeautifulSoup已经被包含在bs4库中，直接下载bs4库即可；lxml是python的一个解析库，和BeautifulSoup配合使用，能够快速解析出页面信息。

导入包（lxml不需要导入）

import requests
from bs4 import BeautifulSoup

3. 设置url和身份标识

设置要访问的url

url = 'https://blog.csdn.net/cun_king'  # 待访问的url地址

设置user-agent，user-agent是身份标识，这里用来模拟是真人的请求操作。

那么为什么需要模拟真人操作呢？首先给出一个结论，网站是不喜欢爬虫的，所以一般网站都会设置一定的反爬机制。很多爬虫向服务器请求数据，或者爬虫要请求很多信息时，会给服务器造成很大压力，严重时可能导致服务器宕机，那么，针对爬虫就会产生对应的反爬机制，比如识别user-agent就是一个初级的反爬机制，当访问者没有携带user-agent时，网站就会默认访问者是爬虫，从而可以拒绝提供信息反馈。

怎么找user-agent？选择网络（如下图），然后刷新界面信息

随便选择一个文件，再选择“标头”，展示的内容是根据http协议用来请求数据所携带的头部，user-agent就包含在里面

user-agent在标头的最下方

将user-agent复制出来，在程序中写成一个字典的形式

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.30'} 

4. 请求数据并解析

strhtml = requests.get(url, headers=headers)  # Get方式获取网页数据
soup = BeautifulSoup(strhtml.text, 'lxml')  # 将请求到的数据解析为lxml格式
info = soup.select()  # 筛选数据，这里需要加一个参数

注意！soup.select()包含了一个重要参数，这个参数就是筛选数据的条件。

回到“元素”，找到刚才“被访问量”对应的那条div，点击鼠标右键–>复制–>复制selector

这样会得到一个选择器，也就是select()的参数

info = = soup.select('#floor-user-profile_485 > div > div.user-profile-head > div.user-profile-head-info.user-profile-wrapper > div.user-profile-head-info-b > ul > li:nth-child(1) > div.user-profile-statistics-num')

筛选出来的info是一个迭代器，但是由于现在只获取到一条数据，因此可以直接输出看看

print("访问量：" + info[0].get_text())

可以发现已经获取到了目标信息，获取其它三条数据同理。

完整代码：

import requests 
from bs4 import BeautifulSoup

url = 'https://blog.csdn.net/cun_king'

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                         'Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.30'}
strhtml = requests.get(url, headers=headers)  # Get方式获取网页数据
soup = BeautifulSoup(strhtml.text, 'lxml')
info = soup.select('#floor-user-profile_485 > div > div.user-profile-head > '
                    'div.user-profile-head-info.user-profile-wrapper > div.user-profile-head-info-b > ul > '
                    'li:nth-child(1) > div.user-profile-statistics-num')
print("访问量：" + info[0].get_text())

事实上，我们可以修改选择器，因为四条数据也是按列表形式排列的，所有我们可以一块获取，然后循环输出。

import requests  # 导入requests包
from bs4 import BeautifulSoup

url = 'https://blog.csdn.net/cun_king'

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                         'Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.30'}
strhtml = requests.get(url, headers=headers)  # Get方式获取网页数据
# print(strhtml.text)
soup = BeautifulSoup(strhtml.text, 'lxml')

info = soup.select('#floor-user-profile_485 > div > div.user-profile-head > div.user-profile-head-info.user-profile-wrapper > div.user-profile-head-info-b > ul > li')

for item in info:
    print(item.get_text())

4. 爬取图片信息

以爬取百度图片为例。

5. 后言

爬虫还是比较好入门的，这得益于成熟的爬虫工具。

爬虫可以满足自己的个性化搜索需求，大家赶快动手试试吧。（

如果觉得文章还不错的话，留个赞再走吧，非常感谢！！！

如果大家对Python感兴趣，这套python学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门Python是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：Python激活码+安装包、Python web开发，Python爬虫，Python数据分析，人工智能、机器学习、Python量化交易等习教程。带你从零基础系统性的学好Python！

零基础Python学习资源介绍

① Python所有方向的学习路线图，清楚各个方向要学什么东西

② 600多节Python课程视频，涵盖必备基础、爬虫和数据分析

③ 100多个Python实战案例，含50个超大型项目详解，学习不再是只会理论

④ 20款主流手游迫解 爬虫手游逆行迫解教程包

⑤ 爬虫与反爬虫攻防教程包，含15个大型网站迫解

⑥ 爬虫APP逆向实战教程包，含45项绝密技术详解

⑦ 超300本Python电子好书，从入门到高阶应有尽有

⑧ 华为出品独家Python漫画教程，手机也能学习

⑨ 历年互联网企业Python面试真题,复习时非常方便

👉Python学习路线汇总👈

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。（全套教程文末领取哈）

👉Python必备开发工具👈

温馨提示：篇幅有限，已打包文件夹，获取方式在：文末

👉Python学习视频600合集👈

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉实战案例👈

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉100道Python练习题👈

检查学习结果。

👉面试刷题👈

资料领取

这份完整版的Python全套学习资料已经上传网盘，朋友们如果需要可以点击下方微信卡片免费领取 ↓↓↓【保证100%免费】