星期天看了一篇博客,就是关于一个扒取图片的爬虫,于是就学了学,现在做一点笔记,方便记忆。
这里只做一些粗略的总结。
#-*- coding:utf-8 -*-
这句是文本以utf-8编码方式
import requests import re url= 'https://www.porn.com/pictures' html=requests.get(url).text pic_url=re.findall('background-image:url(.*?);',html,re.S) i=0 print pic_url
这两句没什么好说的,text方法保存get方法获取的内容,然后用re.findall()函数筛选出需要的内容。
运行了一下你会发现,输出的列表里面的值前面都有一个字符'u',这表示里面的字符数是用unicode编码方式,
这种编码方式是不能用string函数操作的否则就会出错。
你要是不想对每个列表中的元素进行操作的话,可以直接用的。
可能是因为运行环境的问题,我不太确定在Notepad++中是可以直接对它进行string操作的
对于unicode编码的解决方法下面会有介绍。
查看网页源码我们会发现,url之后加上主页上面图片链接的中间第三组数字