【Python爬虫案例学习21】爬取某站上海租房图片

####前言
其实很简短就是利用爬虫的第三方库Requests与BeautifulSoup。
其实就几行代码,但希望没有开发基础的人也能一下子看明白,所以大神请绕行。
####基本环境配置

  • python 版本:3.6
  • IDE :pycharm
    ####相关模块
import requests
import urllib.request
import os
import time
from bs4 import BeautifulSoup

####实现效果图
image.png
####完整代码

import requests
import urllib.request
import os
import time
from bs4 import BeautifulSoup
'''
遇到不懂的问题?Python学习交流群:821460695满足你的需求,资料都已经上传群文件,可以自行下载!
'''
header={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36'}
url=['http://sh.58.com/zufang/pn{}/?ClickID=2'.format(number) for number in range(6,51)]#分页抓取
adminCout=6
for arurl in url:
    adminCout=adminCout+1
    res=requests.get(arurl,headers=header)
    soup=BeautifulSoup(res.text,'html.parser')
    arryImg=soup.select('.img_list img')
    print(arryImg)
    count = 0;
    for img in arryImg:
        print(img['lazy_src'])
        _url = img['lazy_src']
        pathName = "E:\\2333\\" + str(adminCout)+"_"+str(count) + ".jpg"  # 设置路径和文件名
        result = urllib.request.urlopen(_url)  # 打开链接,和python2.x不同请注意了
        data = result.read()  # 否则开始下载到本地
        with open(pathName, "wb") as code:
            code.write(data)
            code.close()
            count = count + 1  # 计数+1
            print("正在下载第:", count)
        time.sleep(30)
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值