一 、股票代码获取
最近入坑股市,摸爬滚打,只觉得自己长高了一茬,依旧是韭菜被无情收割呜呜呜呜,因此想了想弄个,所有股票的数据来看下资金动向,类似于龙虎板但是跨度大些。
从网上看了些资源发现并没有自己想要的,最好的一个也是多个文件拆分开的而且没有相应股票的代码,所以我弄了个EXCEL整合版本。
首先我们从http://quote.eastmoney.com/stock_list.html获取相应股票:
方法一:
CTRL+C 以及CTRL+V 也就是我们常说的CV工程师,复制下到EXCEL然后进行下数据处理 处理干净放到TXT里面为后面的股票信息做准备。
方法二:
多次从这个网页元素获取股票代码,发现股票代码抓取不全,可以推测该网页可能是异步加载,就是说不进行翻滚网页情况下数据获取是不全面的,因此需要用到 Python 使用selenium+webdriver爬取动态网页内容这篇文章已经写得很详细了
如果想了解相关的静态网页获取数据的方法以及解析过程可以看我之前写的Python爬取百度搜索的标题和真实URL的代码和详细解析
获取股票的代码如下:
from bs4 import BeautifulSoup
import pandas as pd
from selenium import webdriver
import csv
import os
file=r'C:\Users\xxp\.spyder-py3\testcode\test\stock_data.csv'#生成文件路径
def data_write_csv(file, datas):#file为写入CSV文件的路径,datas为要写入数据列表
with open(file,'a+',encoding='utf-8-sig',newline='') as f:
writer = csv.writer(f)
for data in datas:
writer.writerow(data)
print("保存文件成功,处理结束")
def get_info():
total_title=[]
total_content=[]
total_info=[]
url = 'http://quote.eastmoney.com/stock_list.html'
#r = s.get(url=url)
#r.encoding = 'GBK'
driver = webdriver.Chrome(