一、(2)selenium爬取超链接后,反爬取超链接里的内容。
一、(1)selenium 爬取证监会新闻标题超链接的详细过程
本文利用一、(1)中爬取证监会新闻的超链接,对超链接里的每条新闻进行爬取,方法很简单。
完整代码如下:
# coding=utf-8
import codecs
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
#配置自己爬取内容的浏览器
options = webdriver.ChromeOptions()
options.add_experimental_option("excludeSwitches", ["ignore-certificate-errors"]