爬取同花顺(http://q.10jqka.com.cn)
站点前20页股市数据并存储在xlsx文件
难度 中
逆向参数 hexin-v =>>刷新一次会有有效次数
import copy
import requests
import pandas as pd
from tqdm import tqdm
from parsel import Selector
headers = {
'hexin-v': '嘻嘻',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/91.0.4472.77 Safari/537.36 '
}
data_Dic = {}
df_list = []
for page in tqdm(range(1, 21)):
url = f'http://q.10jqka.com.cn/usa/detailDefer/board/all/field/zdf/order/desc/page/{page}/ajax/1/'
response = requests.request('Get', url, headers=headers)
response.encoding = response.apparent_encoding
trs = Selector(response.text).xpath('//table[@class="m-table m-pager-table"]/tbody//tr')
for tr in trs:
print('序号:',tr.xpath('./td[1]/text()').get())
print('代码:',tr.xpath('./td[2]/a/text()').get())
print('名称:',tr.xpath('./td[3]/a/text()').get())
print('现价:',tr.xpath('./td[4]/text()').get())
print('涨跌幅(%):',tr.xpath('./td[5]/text()').get())
print('涨跌:',tr.xpath('./td[6]/text()').get())
print('换手(%):',tr.xpath('./td[7]/text()').get())
print('成交量:',tr.xpath('./td[8]/text()').get())
print('市盈率(%):',tr.xpath('./td[9]/text()').get())
print('成交额:',tr.xpath('./td[10]/text()').get())
print('52周最高:',tr.xpath('./td[11]/text()').get())
print('52周最低:',tr.xpath('./td[12]/text()').get())
data_dic = copy.deepcopy(data_Dic)
data_dic.update({'序号': tr.xpath('./td[1]/text()').get()})
data_dic.update({'代码': tr.xpath('./td[2]/a/text()').get()})
data_dic.update({'名称': tr.xpath('./td[3]/a/text()').get()})
data_dic.update({'现价': tr.xpath('./td[4]/text()').get()})
data_dic.update({'涨跌幅(%)': tr.xpath('./td[5]/text()').get()})
data_dic.update({'涨跌': tr.xpath('./td[6]/text()').get()})
data_dic.update({'换手(%)': tr.xpath('./td[7]/text()').get()})
data_dic.update({'成交量': tr.xpath('./td[8]/text()').get()})
data_dic.update({'市盈率(%)': tr.xpath('./td[9]/text()').get()})
data_dic.update({'成交额': tr.xpath('./td[10]/text()').get()})
data_dic.update({'52周最高': tr.xpath('./td[11]/text()').get()})
data_dic.update({'52周最低': tr.xpath('./td[12]/text()').get()})
df_list.append(data_dic)
pd.DataFrame(df_list).to_excel('./同花顺.xlsx', index=False)
图1:打印截图
图2:存储于xlsx文件数据截图