Python爬虫系列(一)——手把手教你写Python爬虫

本文介绍了网络爬虫的基本概念,其在搜索引擎中的作用以及为何需要编写自定义爬虫。通过Python及其库如requests和BeautifulSoup进行CSDN页面信息的抓取示例,同时强调了网络爬虫的法律法规和反爬机制。
摘要由CSDN通过智能技术生成
1. 什么是爬虫?

根据百度百科的定义,网络爬虫,又称为网页蜘蛛,是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。

人们如今的生活,大都离不开网络,发一条微信,电子支付买一杯奶茶,刷一条微博,等等,都依赖于网络的便携性。但是,互联网茁壮成长的同时,海量的信息每天也会以指数级增长的方式充斥到网络环境中,那么如何快速高效地找到我们需要的信息,成为了很关键的功能,于是搜索引擎诞生了。搜索引擎替我们把很多网络信息做了筛选,当我们查询某项内容时,搜索引擎可以计算出一个排名,来展现查询相关的内容。那么面对海量的信息,搜索引擎就是利用爬虫对数据进行了整合和筛选操作,为人们在网络海洋中快速挖掘有用的信息提供了便利。

image-20211023141009052

既然搜索引擎这么好用了,那么我们为什么还要写爬虫?是因为有时我们有更加个性化的搜索需求,比如我们希望获取猫眼电影中排名前一百名的电影的评论内容,并根据评论做情感分析。面对这个需求,搜索引擎的作用就比较局限了。那么要实现这个功能,第一步的获取出这些相关信息就需要我们动手写爬虫了。

image-20211023142130569

很多语言都可以写爬虫,包括python,java、c++等。而Python本身是开源的,很多大佬为Python的功能扩展写了很多成熟的工具,也就是网络上常说的xx库,我们可以利用这些工具快速实现我们的需求,比较好入门。

另外,需要强调的是,网络上并不是什么东西都可以爬,针对这个问题,我国有着一套完备的法律。爬了不该爬的内容,比如大量个人信息,那可以快速实现“从入门到入狱”。

2. 了解网页

网页一般由三部分组成,分别是 HTML(超文本标记语言)、CSS(层叠样式表)和 JS(活动脚本语言)。

我们每次请求数据,服务器都会把由这三部分组成的内容发送过来,再经浏览器编译,就出现了我们看到的界面。实际上爬虫获取信息也是相似的流程,向服务器请求数据,请求到的数据存储到内存中,然后解析出我们想要的信息。

image-20211023143012228

每个浏览器关于查看网页源码有着不同的操作,以谷歌浏览器为例,是在页面中点击鼠标右键,再选择“检查”,在出现的框中选择元素(Elements),我们使用爬虫查询的内容也就包含在这些元素中。

image-20211023143420275

比如,我们可以找到百度首页内热搜的第一条数据信息。(鼠标指向某一行,相应的内容就会以“蓝框”的形式在界面中标记出来)

image-20211023144015064

3. 爬取CSDN页面信息演示

比如我就要爬我在CSDN的主页信息(红框部分)

image-20211023144713297

  1. 分析页面

第一步,分析页面,找到这些数据在哪。

打开元素,当鼠标停留在下图这一行时,界面上的这一部分内容被蓝框选中,表示数据就在这个div内

image-20211023145033320

接着往下找,可以找到一个列表,包含了四个元素,分别对应了界面上的四条数据。

image-20211023145211109

打开其中一个,我们就找到了这个数据。(其它数据同理)

image-20211023145408575

  1. 导包

既然使用python,我们就要利用python成熟的工具,这个示例需要用到三个包。

  • requests
  • bs4
  • lxml

requests翻译为“请求”,这个库就是帮助我们向服务器中请求数据的工具;BeautifulSoup是解析工具,它可以解析网页数据,可以快速提取出所需要的信息,如今BeautifulSoup已经被包含在bs4库中,直接下载bs4库即可;lxml是python的一个解析库,和BeautifulSoup配合使用,能够快速解析出页面信息。

image-20211023150458882

导入包(lxml不需要导入)

import requests
from bs4 import BeautifulSoup


  1. 设置url和身份标识

设置要访问的url

url = 'https://blog.csdn.net/cun_king'  # 待访问的url地址


设置user-agent,user-agent是身份标识,这里用来模拟是真人的请求操作。

那么为什么需要模拟真人操作呢?首先给出一个结论,网站是不喜欢爬虫的,所以一般网站都会设置一定的反爬机制。很多爬虫向服务器请求数据,或者爬虫要请求很多信息时,会给服务器造成很大压力,严重时可能导致服务器宕机,那么,针对爬虫就会产生对应的反爬机制,比如识别user-agent就是一个初级的反爬机制,当访问者没有携带user-agent时,网站就会默认访问者是爬虫,从而可以拒绝提供信息反馈。

怎么找user-agent?选择网络(如下图),然后刷新界面信息

image-20211023152048514

随便选择一个文件,再选择“标头”,展示的内容是根据http协议用来请求数据所携带的头部,user-agent就包含在里面

image-20211023152148677

user-agent在标头的最下方

image-20211023152304897

将user-agent复制出来,在程序中写成一个字典的形式

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.30'} 


  1. 请求数据并解析
strhtml = requests.get(url, headers=headers)  # Get方式获取网页数据
soup = BeautifulSoup(strhtml.text, 'lxml')  # 将请求到的数据解析为lxml格式
info = soup.select()  # 筛选数据,这里需要加一个参数


注意!soup.select()包含了一个重要参数,这个参数就是筛选数据的条件。

回到“元素”,找到刚才“被访问量”对应的那条div,点击鼠标右键–>复制–>复制selector

image-20211023153228240

这样会得到一个选择器,也就是select()的参数

info = = soup.select('#floor-user-profile_485 > div > div.user-profile-head > div.user-profile-head-info.user-profile-wrapper > div.user-profile-head-info-b > ul > li:nth-child(1) > div.user-profile-statistics-num')


筛选出来的info是一个迭代器,但是由于现在只获取到一条数据,因此可以直接输出看看

print("访问量:" + info[0].get_text())


image-20211023153451377

可以发现已经获取到了目标信息,获取其它三条数据同理。

完整代码:

import requests 
from bs4 import BeautifulSoup

url = 'https://blog.csdn.net/cun_king'

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                         'Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.30'}
strhtml = requests.get(url, headers=headers)  # Get方式获取网页数据
soup = BeautifulSoup(strhtml.text, 'lxml')
info = soup.select('#floor-user-profile_485 > div > div.user-profile-head > '
                    'div.user-profile-head-info.user-profile-wrapper > div.user-profile-head-info-b > ul > '
                    'li:nth-child(1) > div.user-profile-statistics-num')
print("访问量:" + info[0].get_text())


事实上,我们可以修改选择器,因为四条数据也是按列表形式排列的,所有我们可以一块获取,然后循环输出。

import requests  # 导入requests包
from bs4 import BeautifulSoup

url = 'https://blog.csdn.net/cun_king'

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                         'Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.30'}
strhtml = requests.get(url, headers=headers)  # Get方式获取网页数据
# print(strhtml.text)
soup = BeautifulSoup(strhtml.text, 'lxml')

info = soup.select('#floor-user-profile_485 > div > div.user-profile-head > div.user-profile-head-info.user-profile-wrapper > div.user-profile-head-info-b > ul > li')

for item in info:
    print(item.get_text())


image-20211023154202759

4. 爬取图片信息

以爬取百度图片为例。

5. 后言

爬虫还是比较好入门的,这得益于成熟的爬虫工具。

爬虫可以满足自己的个性化搜索需求,大家赶快动手试试吧。(

如果觉得文章还不错的话,留个赞再走吧,非常感谢!!!

如果大家对Python感兴趣,这套python学习资料一定对你有用

对于0基础小白入门:

如果你是零基础小白,想快速入门Python是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括:Python激活码+安装包、Python web开发,Python爬虫,Python数据分析,人工智能、机器学习、Python量化交易等习教程。带你从零基础系统性的学好Python!

零基础Python学习资源介绍

① Python所有方向的学习路线图,清楚各个方向要学什么东西

② 600多节Python课程视频,涵盖必备基础、爬虫和数据分析

③ 100多个Python实战案例,含50个超大型项目详解,学习不再是只会理论

④ 20款主流手游迫解 爬虫手游逆行迫解教程包

⑤ 爬虫与反爬虫攻防教程包,含15个大型网站迫解

⑥ 爬虫APP逆向实战教程包,含45项绝密技术详解

⑦ 超300本Python电子好书,从入门到高阶应有尽有

⑧ 华为出品独家Python漫画教程,手机也能学习

⑨ 历年互联网企业Python面试真题,复习时非常方便

在这里插入图片描述

👉Python学习路线汇总👈

Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。(全套教程文末领取哈)
在这里插入图片描述

👉Python必备开发工具👈

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉Python学习视频600合集👈

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

👉实战案例👈

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

在这里插入图片描述

👉100道Python练习题👈

检查学习结果。

👉面试刷题👈

在这里插入图片描述

在这里插入图片描述

资料领取

这份完整版的Python全套学习资料已经上传网盘,朋友们如果需要可以点击下方微信卡片免费领取 ↓↓↓【保证100%免费】

  • 35
    点赞
  • 29
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值