python如何爬虫股票数据_Python爬虫实战：股票数据定向爬虫

count=count+ 1

print("\r当进步度: {:.2f}%".format(count*100/len(lst)),end="")

except:

count=count+ 1

print("\r当进步度: {:.2f}%".format(count*100/len(lst)),end="")

continue

def main():

stock_list_url = 'http://quote.eastmoney.com/stocklist.html'

stock_info_url = 'https://gupiao.baidu.com/stock/'

output_file = 'D:/BaiduStockInfo.txt'

slist=[]

getStockList(slist, stock_list_url)

getStockInfo(slist, stock_info_url, output_file)

main()

因为百度股票只有单个股票的信息，所以还须要当前股票市场中所有股票的列表，在这里我们选择东方财富网，网址为：链接描述(http://quote.eastmoney.com/stocklist.html)，界面如下图所示：

道理分析

查看百度股票每只股票的网址：https://gupiao.baidu.com/stock/sz300023.html，可以发明网址中有一个编号300023正好是这只股票的编号，sz表示的深圳交易所。是以我们构造的法度榜样构造如下：步调1： 大年夜东方财富网获取股票列表;

步调2： 一一获取股票代码，并增长到百度股票的链接中，最后对这些链接进行逐个的拜访获得股票的信息;

步调3： 将结不雅存储到文件。

接着查看百度个股信息网页的源代码，发明每只股票的信息在html代码中的存储方法如下：

是以，在我们存储每只股票的信息时，可以参考上图中html代码的存储方法。每一个信息源对应一个信息值，即采取键值对的方法进行存储。在python中键值对的方法可以用字典类型。是以，在本项目中，应用字典来存储每只股票的信息，然后再用字典把所有股票的信息记录起来，最后将字典中的数据输出到文件中。

代码编写

起首是获得html网页数据的法度榜样，在这腊?绵做介绍了，代码如下：#获得html文本

def getHTMLText(url):

try:

r = requests.get(url)

r.raise_for_status()

r.encoding = r.apparent_encoding

推荐阅读

接口是面向对象JavaScript法度榜样员的对象箱中最有效的对象之一。在设计模式中提出的可重用的面向对象设计的原则之一就是“针对接口编程而不是实现编程”，即我们所说的面向接口编程，这个>>>详细阅读

地址：http://www.17bianji.com/lsqh/36863.html