很多人学习Python很重要的一个原因是,可以很简单的把一个网站的数据爬下来。
尤其是做我们这一行,产品经理,电商行业。
领导:弄一个买卖游戏周边商品的交易APP出来。
我:行,那我们卖什么呀?
领导:看下友商卖什么我们就卖什么。
我:好吧,那就爬点数据下来吧。
玩笑归玩笑,虽有夸张成分,但也不无道理。
作为入门级别,首先就来学习下怎么爬取网站图片。只需要调用4个方法,即可轻松批量拿到网站图片。
下面对于每一步调用的方法进行详细说明(主要还是自己拿了别人代码之后遇到的坑)
第一步:获取网页的源代码
urllib.request.urlopen().read()
这个方法是获取到请求的这个URL所返回的网页源代码信息数据,返回值是bytes类型时,要将其转换成utf-8才能正常显示在python程序中,所以还要调用decode()方法进行解码。
最终得到的就是平时我们编写或者查看的页面源代码了。
这里可能会出现的报错信息:
1.Non-ASCII character 'xe5'
原因:这是编码的问题,Python的默认编码文件是用的ASCII码,而你的Python文件中使用了中文等非英语字符。
解决方法:在第一行添加 # -- coding: UTF-8 --