关于selenium的心得

今天我在写爬虫的时候,有点奇怪,就是可以达到我的预期效果,但是有bug我实在是找不出来啦,这是我的代码:

import time
from selenium import webdriver
from bs4 import BeautifulSoup
import requests
import os
import traceback
def write_path(data):
        count = 0
        for i in data:
                try:
                        r = requests.get(data[i])
                        print(r.status_code)
                        path = os.path.join(r"E:\xin wenjian ja\gaoqingbizi", str(i) + ".jpg")
                        with open(path, "ab") as f:
                                f.write(r.content)
                                count = count + 1
                                print("\r当前进度:{:.2f}%".format(count * 100 / len(data)), end = "")
                except:
                        count = count + 1
                        print("\r当前进度:{:.2f}%".format(count * 100 / len(data)), end="")
                        traceback.print_exc()
                        continue

def get_products(html, data):
        soup = BeautifulSoup(html, "lxml")
        items = soup.find_all(name="img")
        for item in items:
                try:
                        key = item.attrs["alt"]
                        value = item.attrs["src"]
                        if key == "4K/5K/8K超清壁纸":
                                continue
                        data[key] = value
                except:
                        continue

def index_page(url, data):
        try:
                browser = webdriver.Firefox()
                browser.get(url)
                html = browser.page_source
                get_products(html, data)
                time.sleep(2)
        finally:
                browser.close()
def main():
        url = "http://www.netbian.com/weimei/index_2.htm"
        data = {}
        index_page(url, data)
        write_path(data)
main()

如果有那位大神可以帮下找下错误,感激不尽。我的目的是:从网址爬取图片并写入文件,可以达到效果,但是有bug.

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值