python在财务中的应用实训报告-实践应用|PyQt5制作雪球网股票数据爬虫工具

importrequests

fromfake_useragentimportUserAgent

url= 'https://xueqiu.com'

session= requests. Session

headers= { "User-Agent": UserAgent( verify_ssl= False). random}

session. get( url, headers= headers)

#获取当前的Cookie

Cookie= dict( session. cookies)5.2基础参数

基础参数是用于财务数据请求时原始网址构成参数选择，我们在可视化操作工具中需要对财务数据类型进行选择，因此这里需要构建财务数据类型字典。

#原始网址

original_url= 'https://xueqiu.com'

#财务数据类型字典

dataType= { '全选': 'all',

'主要指标': 'indicator',

'利润表': 'income',

'资产负债表': 'balance',

'现金流量表': 'cash_flow'}

6

获取获取各证券市场上市名录

这其实就是一个简单的网络爬虫及数据格式调整的过程，实现代码如下：

1importrequests

2importpandas aspd

3importjson

4fromfake_useragent importUserAgent

5#请求头设置

6headers = { "User-Agent": UserAgent(verify_ssl= False).random}

7#股票清单列表地址解析（通过设置参数size为9999可以只使用1个静态地址，全部股票数量不足5000）

8url = 'https://xueqiu.com/service/v5/stock/screener/quote/list?page=1&size=9999&order=desc&orderby=percent&order_by=percent&market=CN&type=sh_sz'

9#请求原始数据

10response = requests.get(url,headers = headers)

11#获取股票列表数据

12df = response.text

13#数据格式转化

14data = json.loads(df)

15#获取所需要的股票代码及股票名称数据

16data = data[ 'data'][ 'list']

17#将数据转化为dataframe格式，并进行相关调整

18data = pd.DataFrame(data)

19data = data[[ 'symbol', 'name']]

20data[ 'name'] = data[ 'symbol']+ ' '+data[ 'name']

21data.sort_values(by = [ 'symbol'],inplace= True)

22data = data.set_index(data[ 'symbol'])[ 'name']

23#将股票列表转化为字典，键为