爬虫初学2

最新推荐文章于 2024-01-10 10:09:38 发布

mr_xinL

最新推荐文章于 2024-01-10 10:09:38 发布

阅读量226

点赞数

分类专栏：爬虫文章标签： python

本文链接：https://blog.csdn.net/mr_xinL/article/details/104858412

版权

采用requests和parsel爬取美女图片

#parsel 主要用来将请求后的字符串格式解析成re,xpath,css进行内容的匹配    本代码采用xpath
#爬虫初学2 "设置请求头" "运用parsel"进行爬取美女图片
import requests
import parsel
for page in range(1,6): #打印多页，添加的第一行
    print('================正在抓取第{}页数据===================='.format(page))    #添加第二行
    '''#确定爬取的网址（可见及可爬），找到headers和设置headers。'''
    url='http://www.win4000.com/mobile_2340_0_0_{}.html'.format(str(page))   #修改的第三行     #如果换成http://www.win4000.com/meinvtag4_1.html，则for中xpath定位不到相应图片src，有点瑕疵
    #头3 可用
    headers={'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
             'Connection':'keep-alive',
             'Host':'www.win4000.com',