mac os平台使用python爬虫自动下载巨潮网络文件

本文介绍了如何在Mac OS环境下,利用Python、Selenium和wget工具,通过Safari浏览器下载巨潮资讯网的股票相关文件。在使用PhantomJS时遇到问题,改用Safari并解决了‘允许远程自动化’的设置问题。代码示例展示了详细的下载过程,包括查找元素、点击、下载PDF等步骤。
摘要由CSDN通过智能技术生成
环境配置
选择python+selenium+wget+Safari的环境来下载文件,本来期望使用phantomjs,但使用时点击出的链接网页为空白网页,无法下载文件。
使用Safari时遇到的错误:selenium.common.exceptions.WebDriverException: Message: Could not create a session: You must enable the 'Allow Remote Automation' option in Safari's Develop menu to control Safari via WebDriver.解决方式需要在Safari=>开发中选上"允许远程自动化"。
原始代码
#!/usr/bin/python

# -*- coding: utf-8 -*- 
__metaclass__ = type

import io
from selenium import webdriver
import time
import sys
import re
import os
from selenium.webdriver.common.keys import Keys
import wget
import urllib
from urllib import request
import shutil
#from selenium.webdriver import ActionChains
#from selenium.webdriver.common.keys import Keys

'''class: DownloadFromCninfo'''
class DownloadFromCninfo(object):
    def __init__(self,stockNumberStr,maxNumber=10000):
        self.stockNumber = stockNumberStr
        #选择浏览器
        self.RecordDownloadIndex = 1
        self.maxDownloadNumber = maxNumber
        self.driver &
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值