最全总说手机没有“好壁纸”，Python一次性抓取500张“美女”图片，快手Python面试经验

最新推荐文章于 2024-09-15 22:31:42 发布
最新推荐文章于 2024-09-15 22:31:42 发布
阅读量687 收藏 18
点赞数 30
分类专栏： 程序员 文章标签： python 学习 面试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84572787/article/details/138813172
版权

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

img
img

二、Python必备开发工具

工具都帮大家整理好了，安装就可直接上手！img

三、最新Python学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

img

四、Python视频合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

img

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。img

六、面试宝典

在这里插入图片描述

在这里插入图片描述

简历模板在这里插入图片描述

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

设置保存路径

path = r’D:\test\picture_1\ ’

目标url

url = “http://pic.netbian.com/4kmeinv/index.html”

伪装请求头 防止被反爬

headers = {

“User-Agent”: “Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1”,

“Referer”: “http://pic.netbian.com/4kmeinv/index.html”

}

发送请求 获取响应

response = requests.get(url, headers=headers)

打印网页源代码来看 乱码 重新设置编码解决编码问题

内容正常显示 便于之后提取数据

response.encoding = ‘GBK’

html = etree.HTML(response.text)

xpath定位提取想要的数据 得到图片链接和名称

img_src = html.xpath(‘//ul[@class=“clearfix”]/li/a/img/@src’)

列表推导式 得到真正的图片url

img_src = [‘http://pic.netbian.com’ + x for x in img_src]

img_alt = html.xpath(‘//ul[@class=“clearfix”]/li/a/img/@alt’)

for src, name in zip(img_src, img_alt):

img_content = requests.get(src, headers=headers).content

img_name = name + ‘.jpg’

with open(path + img_name, ‘wb’) as f: # 图片保存到本地

print(f"正在为您下载图片：{img_name}")

f.write(img_content)

复制代码

2.翻页爬取，实现批量下载

图片

单线程版

import requests

from lxml import etree

import datetime

import time

设置保存路径

path = r’D:\test\picture_1\ ’

headers = {

“User-Agent”: “Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1”,

“Referer”: “http://pic.netbian.com/4kmeinv/index.html”

}

start = datetime.datetime.now()

def get_img(urls):

for url in urls:

发送请求 获取响应

response = requests.get(url, headers=headers)

打印网页源代码来看 乱码 重新设置编码解决编码问题

内容正常显示 便于之后提取数据

response.encoding = ‘GBK’

html = etree.HTML(response.text)

xpath定位提取想要的数据 得到图片链接和名称

img_src = html.xpath(‘//ul[@class=“clearfix”]/li/a/img/@src’)

列表推导式 得到真正的图片url

img_src = [‘http://pic.netbian.com’ + x for x in img_src]

img_alt = html.xpath(‘//ul[@class=“clearfix”]/li/a/img/@alt’)

for src, name in zip(img_src, img_alt):

img_content = requests.get(src, headers=headers).content

img_name = name + ‘.jpg’

with open(path + img_name, ‘wb’) as f: # 图片保存到本地

print(f"正在为您下载图片：{img_name}")

f.write(img_content)

time.sleep(1)

def main():

要请求的url列表

url_list = [‘http://pic.netbian.com/4kmeinv/index.html’] + [f’http://pic.netbian.com/4kmeinv/index_{i}.html’ for i in range(2, 11)]

get_img(url_list)

delta = (datetime.datetime.now() - start).total_seconds()

print(f"抓取10页图片用时：{delta}s")

if name == ‘main’:

main()

复制代码

程序运行成功，抓取了10页的图片，共210张，用时63.682837s。

图片

多线程版

import requests

from lxml import etree

import datetime

import time

import random

from concurrent.futures import ThreadPoolExecutor

设置保存路径

path = r’D:\test\picture_1\ ’

user_agent = [

“Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1”,

“Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6”,

“Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6”,

“Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1”,

“Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5”,

“Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3”,

“Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3”,

“Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3”,

“Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3”,

“Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3”,

“Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3”,

“Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3”,

“Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3”,

“Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24”

]

start = datetime.datetime.now()

def get_img(url):

headers = {

“User-Agent”: random.choice(user_agent),

“Referer”: “http://pic.netbian.com/4kmeinv/index.html”

}

发送请求 获取响应

response = requests.get(url, headers=headers)

打印网页源代码来看 乱码 重新设置编码解决编码问题

内容正常显示 便于之后提取数据

response.encoding = ‘GBK’

html = etree.HTML(response.text)

xpath定位提取想要的数据 得到图片链接和名称

img_src = html.xpath(‘//ul[@class=“clearfix”]/li/a/img/@src’)

列表推导式 得到真正的图片url

img_src = [‘http://pic.netbian.com’ + x for x in img_src]

img_alt = html.xpath(‘//ul[@class=“clearfix”]/li/a/img/@alt’)

for src, name in zip(img_src, img_alt):

img_content = requests.get(src, headers=headers).content

img_name = name + ‘.jpg’

with open(path + img_name, ‘wb’) as f: # 图片保存到本地

print(f"正在为您下载图片：{img_name}")

f.write(img_content)

time.sleep(random.randint(1, 2))

def main():

要请求的url列表

url_list = [‘http://pic.netbian.com/4kmeinv/index.html’] + [f’http://pic.netbian.com/4kmeinv/index_{i}.html’ for i in range(2, 51)]

with ThreadPoolExecutor(max_workers=6) as executor:

文末有福利领取哦~

👉一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。img

👉二、Python必备开发工具

img
👉三、Python视频合集

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
img

👉 四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（文末领读者福利）
img

👉五、Python练习题

检查学习结果。
img

👉六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。
img

img

👉因篇幅有限，仅展示部分资料，这份完整版的Python全套学习资料已经上传

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2401_84572787
关注
专栏目录
2024年最全总说手机没有“好壁纸”，Python一次性抓取500张“美女”图片(1)
2301_82244718的博客
05-02 544
复制代码Xpath定位提取图片数据。
运用python实现了关键词提取，基于词向量的抽取式摘要，文本分类和语料集命名
m0_61696809的博客
02-22 5012
抽取式摘要是自动文摘的一种形式是自然语言处理的重要步骤。抽取式摘要的关键问题是如何有效的从文章当中抽取出重要性高的若干句子。现有的抽取式文摘主要通过人们通过统计简单直观的文本特征，比如词频、句子的位置、线索词和标题等从文档中识别重要的句子组成摘要，或者基于外部语义资源对文章句子进行语义理解。我采用的方法式通过统计简单直观的文本特征来获取摘要。我选择的文本特征是用上文所提到的相似性计算方法计算所得全文每一句话与全文词向量的相似度。经过排序选择相似度最高的5句话作为全文摘要。juzi={}k=0。
CST: 首个嵌入光谱稀疏性的Transformer（ECCV 2022）
我爱计算机视觉
09-14 354
‍关注公众号，发现CV技术之美本文系52CV粉丝投稿。本文介绍我们 ECCV 2022 关于 Snapshot Compressive Imaging 重建的工作：《Coarse-to-Fine Sparse Transformer for Hyperspectral Image Reconstruction》。论文代码：https://arxiv.org/abs/2203.04845代码链接：h...
【头歌】产生式表示法与框架表示法，一阶逻辑表示，一阶逻辑的推理
qq_63142181的博客
03-16 1030
【头歌】产生式表示法与框架表示法，一阶逻辑表示，一阶逻辑的推理
离散数学期末复习总结
忘之苡巛
05-23 7644
第一章 命题逻辑 1.命题:判断真假的陈述句 (1)真命题:判断结果为真的命题 (2)假命题:判断结果为假的命题 (3)悖论:自相矛盾的语句 例如:我正在说的这句话是谎言 考点:判断是否是命题 注意:(1)首先看是否是陈述句,祈使句,反问句,感叹句…都不是命题 (2)看真值是否唯一,真值是否唯一和人们是否知道它是真值是两回事 例:x>1不是命题 明天是晴天是命题 2.简单命题(原子命题):句子不能再分解了 命题符号化:将命题用符号表示,p,q,r等 命题常项(命题常元):真值确定的陈述句 命题变项(命
【问题集锦】【Jmeter】打开jmeter脚本时报如下错:problem loading XML from: CannotResolveClassException
veggietaler的专栏
09-26 6783
打开jmeter脚本时报如下错：problem loading XML from：CannotResolveClassException： 解决方法： 1、jmeter的安装目录/lib/ext，导入xml插件包及依赖包 2、重启jmeter
新会计准则 计算机管理系统,全总新工会会计制度管理系统软件
weixin_33256096的博客
07-19 626
《全总新工会会计制度管理系统软件》由会员分享，可在线阅读，更多相关《全总新工会会计制度管理系统软件(4页珍藏版)》请在人人文库网上搜索。1、全总新工会会计制度管理系统软件安装说明1、由于下载下来的全总新“工会会计制度管理系统软件”是以压缩文件的形式存在，为了安装顺利完成，没有解压缩 软件的需要先安装解压缩软件。WINRAR文件就是我们提供的解压缩软件，可下载后双击自动完成安装。2、 在保证电脑上有...
adaboost学习
yaojie9958的专栏
06-01 505
Adaboost也是一种原理简单，但很实用的有监督机器学习算法，它是daptive boosting的简称。说到boosting算法，就不得提一提bagging算法，他们两个都是把一些弱分类器组合起来来进行分类的方法，统称为集成方法（ensemble method）,类似于投资，“不把鸡蛋放在一个篮子”，虽然每个弱分类器分类的不那么准确，但是如果把多个弱分类器组合起来可以得到相当不错的结果，另外要
【离散数学】数理逻辑 第二章 谓词逻辑(1) 谓词、量词（全称和存在量词、全总个体域和特性谓词）
热门推荐
memcpy0的博客
10-06 1万+
本文属于「离散数学」系列文章之一。这一系列着重于离散数学的学习和应用。由于内容随时可能发生更新变动，欢迎关注和收藏离散数学系列文章汇总目录一文以作备忘。此外，在本系列学习文章中，为了透彻理解数学知识，本人参考了诸多博客、教程、文档、书籍等资料。以下是本文的不完全参考目录，在后续学习中还会逐渐补充： 离散数学及其应用 第七版 Discrete Mathematics and Its Applications 7th ，作者是 Kenneth H.Rosen 离散数学 第二版，武波等编著，西安电子科技大学出.
人教版pep六年级英语最新最全总复习知识点.pdf
10-19
一般现在时态表示习惯性或客观存在的事实和真理，常与often, always, usually等词搭配。基本结构有两类： - 非第三人称单数主语 + 动词原形 + 其他，如：What do you usually do on the weekend? - 第三人称单数...
（人）版pep六年级英语最新最全总复习知识点.doc
10-10
【人教版PEP六年级英语总复习知识点】 在学习英语的过程中，掌握好时态是非常重要的，本复习...了解并熟练掌握这些基本知识点，对于六年级的学生来说，是提高英语能力的关键，有助于他们更好地应对考试和日常交流。
全总新工会会计制度管理系统软件下载说明- 新《工会会计制度》师资培训.doc
06-20
全总新工会会计制度管理系统软件则是为了配合这一新制度的实施，提供的一套专门用于工会会计管理的软件工具。 该软件的主要功能可能包括以下几个方面： 1. **会计科目管理**：根据新《工会会计制度》设定的会计...
C语言全总字符串函数.rar-综合文档
05-11
在C语言中，字符串处理是编程中不可或缺的一部分。C语言提供了丰富的字符串函数库，使得我们能够方便地操作和处理字符串。这些函数主要集中在`<string.h>`头文件中，它们帮助程序员进行字符串的创建、复制、比较、...
C语言全总字符串函数.doc-综合文档
05-22
在C语言中，字符串处理是程序开发中必不可少的一部分。这里我们详细探讨了几个重要的字符串函数：stpcpy、strcat、strchr、strcmp以及strncmpi和strcpy。 1. **stpcpy函数**： - `stpcpy(destin, source)` 用于将`...
Python办公自动化案例（二）：对比两个Excel数据内容并标出不同
衍生星球的博客
09-14 343
在数据处理和分析的日常工作中，我们经常需要比较两个Excel文件的差异。这可能是为了验证数据的一致性、检查数据的准确性，或者在版本控制中追踪更改。手动比较这些文件不仅耗时，而且容易出错。幸运的是，Python的openpyxl库提供了一种自动化这一过程的方法。
Python世界：力扣29题两数相除算法实践
来知晓的博客
09-13 378
除法运算本质是减法，从理解原理到真正实现还是有距离，建议初步理解后，不参考任何代码，完全自己复现一遍，体会更深。注意提示：目的就是提醒越界问题：-2^31/-1=2&31，超过了整数表达范围。本问题来自于力扣29题，在做完大数相乘后，顺带也看下两数相除。将两数相除，要求不使用乘法、除法和 mod 运算符。给定两个整数，被除数。
Tcl lnit error: Can’t find a usable init.tcl in the following directories 问题解决
最新发布
梦想闹钟
09-15 272
实际研究后发现，其实py2exe已经把打包需要的lib放在dist文件夹下了，但是打包后的程序运行后却没有去lib下找，而是去找系统自带的环境变量里找，所以找不到。这个问题出现在我用py2exe打包了一个包含tkinter的图形化界面，在当前电脑上运行无问题，在移动到新电脑上后提示报错、getcwd用于获取当前工作目录绝对路径，在设置环境的变量的时候它用的是绝对路径-所以也导致了在当前电脑上能用而移动后不能用。解决方法是在你的程序里重新设置下环境变量，而且是用相对路径的形式。
JUC从实战到源码：中断机制与API实现
qq_43843951的博客
09-12 1135
在Java中，线程中断是一种机制，用于通知线程应该停止当前正在执行的任务。中断通常用于协同线程之间的合作，以便让线程在适当的时候终止其工作，尤其是在长时间运行的任务或阻塞操作中。通过学了多线程以及synchronized的相关知识，接下来就到了学习线程中断知识。
C语言字符串处理函数详解：stpcpy, strcat, strchr, strcmp
`strchr`函数的作用是在给定的字符串`str`中查找指定字符`c`第一次出现的位置，如果找到则返回指向该字符的指针，否则返回`NULL`。在例子中，`char string[15]; char* ptr, c = 'r'; strcpy(string, "Thisisastring...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值