在爬取网页的时候,习惯用requests和BeautifulSoup得到网页的内容,但是要注意的是用BeautifulSoup解析过后返回的对象是<class 'bs4.BeautifulSoup'>
类型的,所以不能直接用正则表达式
bs = BeautifulSoup(response, 'html.parser')
print(type(bs))
这里可以看到运行结果为:
所以需要用str()方法将其转化为str类型才能正确使用re的正则表达式呀
- 但在这次爬取的过程中还发现了一点问题,在网页上F12看到的代码与爬取下来的代码有所不同
这是网页上代码:
这是爬取下来的代码:
这里的alt属性和src属性换了位置