2024年最新《Python面试题及解析》分享，Python多线程爬取网站数据，它究竟有多快，2024年最新字节面试官你有什么问题想问我

收集整理了一份《2024年最新Python全套学习资料》免费送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Python知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来

如果你需要这些资料，可以添加V无偿获取：hxbc188 （备注666）

正文

:return:

‘’’

response = requests.get(url=html_url, headers=headers)

return response

解析网页数据

def get_par(html_data):

‘’’

把 response.text 转换成 selector 对象 解析提取数据

:param html_data: response.text

:return: selector 对象

‘’’

selector = parsel.Selector(html_data)

return selector

保存数据

def download(img_url, title):

‘’’

保存数据

:param img_url: 图片地址

:param title: 图片标题

:return:

‘’’

content = get_html(img_url).content

path = ‘壁纸\’ + title + ‘.jpg’

with open(path, mode=‘wb’) as f:

f.write(content)

print(‘正在保存’, title)

主函数

def main(url):

‘’’

主函数

:param url: 列表页面 url

:return:

‘’’

html_data = get_html(url).text

selector = get_par(html_data)

lis = selector.css(‘.wb_listbox div dl dd a::attr(href)’).getall()

for li in lis:

img_data = get_html(li).text

img_selector = get_par(img_data)

img_url = img_selector.css(‘.wb_showpic_main img::attr(src)’).get()

title = img_selector.css(‘.wb_pictitle::text’).get().strip()

download(img_url, title)

end_time = time.time() - s_time

print(end_time)

启动多线程运行代码

if name == ‘main’:

for page in range(1, 11):

url = ‘http://www.deskbizhi.com/min/list-{}.html’.format(page)

main_thread = threading.Thread(target=main, args=(url,))

main_thread.start()

这里只选择爬取前10页的数据

从运行截图和壁纸保存来看，5.5秒的时间，下载了215张图片，效率上面还是可以的，平均计算下来每秒钟下载40张图片。。。
可以自己去试试多线程爬取数据哈，效率还是非常高的

最后

🍅 硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。
🍅 技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。
🍅 面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。
🍅 知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

如果你需要这些资料，可以添加V无偿获取：hxbc188 （备注666）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

如果你需要这些资料，可以添加V无偿获取：hxbc188 （备注666）
[外链图片转存中…(img-9zNSjfyw-1713853359255)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！