浏览器无界面模式
chromeOptions = webdriver.ChromeOptions()
# 浏览器无界面模式
chromeOptions.set_headless()
browser = webdriver.Chrome(options=chromeOptions)
设置代理服务器
chromeOptions = webdriver.ChromeOptions()
# 设置代理
chromeOptions.add_argument('--proxy-server=http://103.146.184.75:8181')
browser = webdriver.Chrome(options=chromeOptions)
browser.get(url)
指定驱动路径
browser = webdriver.Chrome("./driver/chromedriver81.0.4044.92.exe", options=chromeOptions)
寻找父子标签
soup = BeautifulSoup(page_source, 'lxml')
count = soup.find('dd', string=re.compile('访问'), recursive=True)
dl = count.find_parent("dl")
reading_number = dl.find('span').text
寻找所有符合要求的 标签
list_a = soup.find_all(href=re.compile('qq_15230241/article/details'))