目标:每周/月通过东方财富股吧上面的收盘后的股票信息
尝试1:使用request包来爬取,因为可以不用打开浏览器。
问题:使用request只能抓取到股票名字,其他信息抓取不到。查询后得知所需要的信息是在一个动态添加的div标签里面,打开网页后再审查元素里面可以查到,但是网页源代码里面查不到。
尝试2:使用selenium包来爬取,尝试后可以。将抓取到的信息保存在txt文件里。
问题:必须使用浏览器,还必须打开浏览器才行。没有股票代码,只能使用大概的范围。txt保存后需手动导入到excel中
# 获取股票信息
import time
import random
from selenium import webdriver
def get_info(stock_number):
global browser
try:
browser = webdriver.Chrome(r'G:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe')
browser.get(f"https://guba.eastmoney.com/list,{stock_number}.html")
stock_name = str(browser.find_element_by_id('stockname').text)
stock_price = str(browser.find_element_by_id('hqprice').text)
stock_price_variation = str(browser.find_element_by_id('hqzd').text)
stock