python爬虫教程：详解4种类型的爬虫技术，2024年最新面试结果的推文

• 增量抓取意即针对某个站点的数据进行抓取，当网站的新增数据或者该站点的数据发生变化后，自动地抓取它新增的或者变化后的数据。

• Web页面按存在方式可以分为表层网页(surface Web)和深层网页(deep Web，也称invisible Web pages或hidden Web)。

• 表层网页是指传统搜索引擎可以索引的页面，即以超链接可以到达的静态网页为主来构成的Web页面。

• 深层网页是那些大部分内容不能通过静态链接获取的、隐藏在搜索表单后的，只有用户提交一些关键词才能获得的Web页面。

01 聚焦爬虫技术

聚焦网络爬虫(focused crawler)也就是主题网络爬虫。聚焦爬虫技术增加了链接评价和内容评价模块，其爬行策略实现要点就是评价页面内容以及链接的重要性。

基于链接评价的爬行策略，主要是以Web页面作为半结构化文档，其中拥有很多结构信息可用于评价链接重要性。还有一个是利用Web结构来评价链接价值的方法，也就是HITS法，其通过计算每个访问页面的Authority权重和Hub权重来决定链接访问顺序。

而基于内容评价的爬行策略，主要是将与文本相似的计算法加以应用，提出Fish-Search算法，把用户输入查询词当作主题，在算法的进一步改进下，通过Shark-Search算法就能利用空间向量模型来计算页面和主题相关度大小。

面向主题爬虫，面向需求爬虫：会针对某种特定的内容去爬取信息，而且会保证信息和需求尽可能相关。一个简单的聚焦爬虫使用方法的示例如下所示。

【例1】一个简单的爬取图片的聚焦爬虫

import urllib.request

爬虫专用的包urllib，不同版本的Python需要下载不同的爬虫专用包

import re

正则用来规律爬取

keyname=“”

想要爬取的内容

key=urllib.request.quote(keyname)

需要将你输入的keyname解码，从而让计算机读懂

for i in range(0,5): # (0,5)数字可以自己设置，是淘宝某产品的页数

url=“https://s.taobao.com/search?q=”+key+“&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20180815&ie=utf8&bcoffset=0&ntoffset=6&p4ppushleft=1%2C48&s=”+str(i*44)

url后面加上你想爬取的网站名，然后你需要多开几个类似的网站以找到其规则

data是你爬取到的网站所有的内容要解码要读取内容

pat=‘“pic_url”:“//(.*?)”’

pat使用正则表达式从网页爬取图片

将你爬取到的内容放在一个列表里面

print(picturelist)

可以不打印，也可以打印下来看看

for j in range(0,len(picturelist)):

picture=picturelist[j]

pictureurl=“http://”+picture

将列表里的内容遍历出来，并加上http://转到高清图片

file=“E:/pycharm/vscode文件/图片/”+str(i)+str(j)+“.jpg”

再把图片逐张编号，不然重复的名字将会被覆盖掉

urllib.request.urlretrieve(pictureurl,filename=file)

最后保存到文件夹

02 通用爬虫技术

通用爬虫技术(general purpose Web crawler)也就是全网爬虫。其实现过程如下。

• 第一，获取初始URL。初始URL地址可以由用户人为指定，也可以由用户指定的某个或某几个初始爬取网页决定。

• 第二，根据初始的URL爬取页面并获得新的URL。获得初始的URL地址之后，需要先爬取对应URL地址中的网页，接着将网页存储到原始数据库中，并且在爬取网页的同时，发现新的URL地址，并且将已爬取的URL地址存放到一个URL列表中，用于去重及判断爬取的进程。

• 第三，将新的URL放到URL队列中，在于第二步内获取下一个新的URL地址之后，会将新的URL地址放到URL队列中。

• 第四，从URL队列中读取新的URL，并依据新的URL爬取网页，同时从新的网页中获取新的URL并重复上述的爬取过程。

• 第五，满足爬虫系统设置的停止条件时，停止爬取。在编写爬虫的时候，一般会设置相应的停止条件。如果没有设置停止条件，爬虫便会一直爬取下去，一直到无法获取新的URL地址为止，若设置了停止条件，爬虫则会在停止条件满足时停止爬取。详情请参见图2-5中的右下子图。

通用爬虫技术的应用有着不同的爬取策略，其中的广度优先策略以及深度优先策略都是比较关键的，如深度优先策略的实施是依照深度从低到高的顺序来访问下一级网页链接。

关于通用爬虫使用方法的示例如下。

【例2】爬取京东商品信息

‘’’

爬取京东商品信息：

请求url：https://www.jd.com/

提取商品信息：

1.商品详情页

2.商品名称

3.商品价格

4.评价人数

5.商品商家

‘’’

from selenium import webdriver # 引入selenium中的webdriver

from selenium.webdriver.common.keys import Keys

import time

def get_good(driver):

try:

通过JS控制滚轮滑动获取所有商品信息

js_code = ‘’’

window.scrollTo(0,5000);

‘’’

driver.execute_script(js_code) # 执行js代码

等待数据加载

time.sleep(2)

查找所有商品div

good_div = driver.find_element_by_id(‘J_goodsList’)

good_list = driver.find_elements_by_class_name(‘gl-item’)

n = 1

for good in good_list:

根据属性选择器查找

商品链接

good_url = good.find_element_by_css_selector(

‘.p-img a’).get_attribute(‘href’)

商品名称

good_name = good.find_element_by_css_selector(

‘.p-name em’).text.replace(“\n”, “–”)

商品价格

good_price = good.find_element_by_class_name(

‘p-price’).text.replace(“\n”, “:”)

评价人数

good_commit = good.find_element_by_class_name(

‘p-commit’).text.replace(“\n”, " ")

good_content = f’‘’

商品链接: {good_url}

商品名称: {good_name}

商品价格: {good_price}

评价人数: {good_commit}

\n

‘’’

print(good_content)

with open(‘jd.txt’, ‘a’, encoding=‘utf-8’) as f:

f.write(good_content)

next_tag = driver.find_element_by_class_name(‘pn-next’)

next_tag.click()

time.sleep(2)

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Python开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip1024c （备注Python）

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python必备开发工具

工具都帮大家整理好了，安装就可直接上手！

三、最新Python学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、Python视频合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、面试宝典

简历模板

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

//img-blog.csdnimg.cn/111f5462e7df433b981dc2430bb9ad39.png)

简历模板

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
[外链图片转存中…(img-aCzf1O0I-1712710310566)]