Python爬虫——用Pycharm写一个爬虫程序，爬取糗图百科全部糗图，室友看了直呼牛逼

本文链接：https://blog.csdn.net/m0_60721860/article/details/138343393

    for items in response_url:
        items = 'https:' + items
        response_url_all.append(items)
        # 已经获取所有的图片的url，存放在一个列表 response_url_all 中
# print(response_url_all)
# 新建一个image文件夹，存放爬取到的图片的数据
if not os.path.exists('image'):
    os.mkdir('image')

for items_image in response_url_all:
    # 首先将爬取的字符串数据拼接成一个完整的网址，便于数据抓取
    image_name = items_image.split('/')[-1]
    # 获取二进制图片数据
    items_date = requests.get(url=items_image, headers=headers).content
    # 保存图片
    with open('image/' + image_name, 'wb') as fp:
        fp.write(items_date)
    print(image_name, '下载成功！！！')

if name == ‘main’:
main()


##### 三、 爬取步骤


1. 我所使用的集成开发环境是Pycharm，首先新建一个.py文件，拥有编写代码：鼠标右键点击你的项目名称，然后new，python file ，输入自己的.py文件的名字，我的文件名字为Regular\_expression\_01，系统会自动加上.py 后缀。


![](https://img-blog.csdnimg.cn/b1ebdae8c3584f57bee78997b425906b.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAcXFfNTQ3NTIwNjI=,size_20,color_FFFFFF,t_70,g_se,x_16)


![](https://img-blog.csdnimg.cn/ebc86304b8644ec3a3055a87720aa9ec.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAcXFfNTQ3NTIwNjI=,size_11,color_FFFFFF,t_70,g_se,x_16)


2. 编写代码，代码已经在上面，同行可自取。
3. 在爬虫之前，我们需要对页面进行分析，进入糗图百科，点击热图，我们会发现这里面有我们所需要爬取的糗图。


![](https://img-blog.csdnimg.cn/60a87675f78a4694a0df004ac9271e8f.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAcXFfNTQ3NTIwNjI=,size_20,color_FFFFFF,t_70,g_se,x_16)


4. 接下来我们对网页进行分析，浏览器单击鼠标右键，点击“检查”，点击"network"，再刷新页面


![](https://img-blog.csdnimg.cn/949f040857374cff809390ca3f6bf605.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAcXFfNTQ3NTIwNjI=,size_9,color_FFFFFF,t_70,g_se,x_16)


会出现下面的页面：


![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/90789f33ffb847f9920dc2f6807a440e.png)


5. 接下来我们对图片地址进行分析，我们翻到第二页，看网址，发现https://www.qiushibaike.com/imgrank/page/是不变的，而后面会加个 “页数/”


![](https://img-blog.csdnimg.cn/4b138bf119b844608459e4f48663251f.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAcXFfNTQ3NTIwNjI=,size_19,color_FFFFFF,t_70,g_se,x_16)


6. 于是我们的url便可以使用如下语句写了：


![](https://img-blog.csdnimg.cn/8b5483c3ab0546a4a1da891666ebd3cc.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAcXFfNTQ3NTIwNjI=,size_20,color_FFFFFF,t_70,g_se,x_16)


这便是我们所有的网址啦，接下来就是分析每一页网页上图片的数据了


按照顺序点击：


![](https://img-blog.csdnimg.cn/d62cba5163b04a50b231153c5dcaf9da.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAcXFfNTQ3NTIwNjI=,size_20,color_FFFFFF,t_70,g_se,x_16) 7. 点击Headers，进入头部信息，往下拉，找到User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36这一行，这便是浏览器发给服务器的头信息，爬虫的时候需要用到。  
 ![](https://img-blog.csdnimg.cn/2f8d3563e8064e0f808eb9229df67be5.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAcXFfNTQ3NTIwNjI=,size_20,color_FFFFFF,t_70,g_se,x_16)


8. 我们再进入Elements，对网站的信息进行分析，找到图片的路径，以便爬取网站信息：


![](https://img-blog.csdnimg.cn/7cb40a061eab43cfb4a782a36a2e8e53.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAcXFfNTQ3NTIwNjI=,size_20,color_FFFFFF,t_70,g_se,x_16)  
 9. 我们发现，所有的图片都在class = "thumb"标签下面的img标签里，有了这个信息，就可以用正则表达式提取图片的链接了！ 正则表达式见源码！


![](https://img-blog.csdnimg.cn/6c99330c7cae49a080f4c7a05d7a5299.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAcXFfNTQ3NTIwNjI=,size_20,color_FFFFFF,t_70,g_se,x_16)


10. 接下来就是写程序了！程序就在源码里了，需要自取哦。


##### 四、 总结


python爬虫是非常常见的数据抓取工具，用Python能够很快地爬取我们需要的数据。


##### 五、 写在最后


作为一名新手，写的文章不好，希望大家能够多多批评指正，我将不胜感激。希望大家多多支持我哦，我会努力提高自己的编程能力，给大家奉上更加优质的内容。谢谢大家！


### 关于Python技术储备


学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！


包括：Python激活码+安装包、Python web开发，Python爬虫，Python数据分析，Python自动化测试学习等教程。带你从零基础系统性的学好Python！



> 
> 👉[[[CSDN大礼包：《python安装包&全套学习资料》免费分享]]]( )（**安全链接，放心点击**）
> 
> 
> 


![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/b2ac98e1fe584e19bb0fb91815c87a21.png#pic_center)


#### 一、Python大礼包


Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/fad4fb591a794d90ae9714897bc4b8ad.png#pic_center)


#### 二、 **Python电子书**


![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/d5b19d5582374746926417792e2d15c6.png#pic_center)
文末有福利领取哦~
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

👉**一、Python所有方向的学习路线**

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。![img](https://img-blog.csdnimg.cn/c67c0f87cf9343879a1278dfb067f802.png)

👉**二、Python必备开发工具**

![img](https://img-blog.csdnimg.cn/757ca3f717df4825b7d90a11cad93bc7.png)  
👉**三、Python视频合集**

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。  
![img](https://img-blog.csdnimg.cn/31066dd7f1d245159f21623d9efafa68.png)

👉 **四、实战案例**

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。**（文末领读者福利）**  
![img](https://img-blog.csdnimg.cn/e78afb3dcb8e4da3bae5b6ffb9c07ec7.png)

👉**五、Python练习题**

检查学习结果。  
![img](https://img-blog.csdnimg.cn/280da06969e54cf180f4904270636b8e.png)

👉**六、面试资料**

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。  
![img](https://img-blog.csdnimg.cn/a9d7c35e6919437a988883d84dcc5e58.png)

![img](https://img-blog.csdnimg.cn/5db8141418d544d3a8e9da4805b1a3f9.png)

👉因篇幅有限，仅展示部分资料，这份完整版的Python全套学习资料已经上传




**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化学习资料的朋友，可以戳这里无偿获取](https://bbs.csdn.net/topics/618317507)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**