大家好,我是一名大二学生,这学期我们老师给我们布置的任务是用爬虫爬取一个网站中的某些数据。我做的是较为简单的,只是爬取选股宝中那些标有利好利空以及其对应的名字。因为本人是新手,所以如果有不对或者可以改进的地方欢迎提出来。
首先导入需要的包
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import selenium.webdriver.support.ui as ui
from time import sleep
import re
import time
因为我要爬取的选股宝是动态页面,所以需要安装selenium加上对应浏览器插件,我选的是chrome,所以要安装chromedrive这个插件,在此由于selenium的安装教程在百度上可以很容易找到,我就不多说了。
首先是调动谷歌浏览器,并且读取要爬取的目标网页选股宝。
browser = webdriver.Chrome()
url ="