python3爬取图片_萌新写的爬虫爬取图片_python3

自学python也有一些时间了，偶然间知道爬虫这个东西，于是就在各位大佬的文章上看啊看，代码挑啊挑。什么都不会啊，不看别人的代码怎么办？难不成我凭空coding吗，我还没毕业呢，还差点火候，不过最后总算是爬到了一点点数据

先贴上代码

import requests

import re

from bs4 import BeautifulSoup #从bs4这个库中导入BeautifulSoup

headers = {'User-Agent' : 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}

DOWNLOAD_URL = 'https://www.imooc.com/search/course?words=python爬虫'

html = requests.get(DOWNLOAD_URL, headers= headers)

bhtml = BeautifulSoup(html.content, "html.parser") #使用BeautifulSoup解析这段代码

html=str(bhtml)

print(html)

imgre = re.findall(r'//szimg.+?\.jpg',html)

print(imgre)

for i,pic_url in enumerate(imgre):

pic_url = r'http:'+pic_url

pic = requests.get(pic_url)

string = str(i+1)+'.jpg'

with open(string,'wb') as f:

f.write(pic.content)

安装什么的，网上的教程一大堆，我主要先说一下环境路径的问题吧(毕竟在这里吃过亏)

import第三方的包没问题的自行跳过

这里用的编辑器是pycharm-community(社区版，免费的！)

file->setting

因为我们要用到很多第三方的包，一般来说在cmd然后打pip install XXX就可以把第三方的包装上了，但是呢，有一些耿直boy就会弄错路径，导致在cmd里安装的是一个位置(我明明cmd安装好使啊，import就不好使呢)，自己在pycharm里面搞的又是一个路径，咋整？

你要是实在是整不明白路径的话，就点击这个加号吧

然后进入页面，搜索你想要安装的包，左下角点击安装，就可以了(md我说的好详细，是我最近操作手册写多了吧)

步入正题，大佬们都是爬什么豆瓣啊，贴吧啊什么的，如今好多的网页都是动态网页，我们写的这种初级爬虫是爬取不到动态网页的，所以我挑了一个比较好爬取的网页，慕课网

我们的目的是爬取左边的图片

在这里我们需要借助两个第三方的包

requests和Beautifulsoup4，通过前面教过的方式，我们可以正常使用这两个包了

requests真的很方便，通过requests向服务器发送请求，返回的数据再通过Beautifulsoup4来解析，然后我们就得到了网页的源代码。

然后打开你的Chrome浏览器，进入这个网址

右键，检查，然后通过那个小箭头我找到了这张图片的地址

试一下，嗯，确实是这图片的地址。

资源都找到了，接下来就是爬取了，这里我们re通过正则表达式进行匹配，也就得到了该页的图片的字符串地址，注意，返回的是数组。

这时还是缺点东西，因为我们爬取到手里的现在是网页图片的地址字符串并不能用，还缺个前缀，于是在前面添加一个“http”

执行后图片就存进来了。

一定要敢改，大佬们的代码一定要敢该，改来改去你就开始明白了

附注：启蒙我爬虫的大佬的文章，学爬虫的可以看一下，很有用

萌新写爬虫一路磕磕碰碰，大佬如果觉得辣眼睛可以缓一缓，有沟通有交流我们可以在下面评论详细说、慢慢说，毕竟我也是个萌新。欢迎批评不对的地方，我们共同进步。

秀优越的话，左转不送(｀・ω・´)(悄悄给你叠起来)

侵删