pythonurllib库获取yahoo财经数据_金融数据的获取——一个爬虫的简单例子

对量化投资策略进行研究，第一步就是获取我们需要的数据。使用历史数据能够对策略进行回测，以验证策略的有效性和可信性。另一方面，量化投资本身也是一种对数据的研究，因此它也必须遵循数据分析的相关步骤。作为一个业余的量化投资爱好者，免费的数据来源主要有以下几种途径：Yahoo、Sina 财经的API

Python的Tushare包

自己手工爬取

Tushare是一个免费、开源的Python财经数据接口包，它对数据进行了规整因此使用起来非常方便。尽管有如此优秀的数据包简化了数据的采集工作，我们依然需要掌握从网站上爬取数据的技能，以获取接口没有提供的数据。本篇文章将会介绍一个小爬虫，告诉大家如何从网站上获取所有股票的代码和名称。

Python的urllib2库是爬虫的基础，使用urllib2库可以获取网页的内容，再使用正则表达式对所需的内容进行提取。我们在东方财富网的stocklist页面下对股票的代码和名字进行爬取，若要获取该网页下的全部内容，则需要以下几步：对服务器发送一个请求，使用urllib2的Request方法返回reguest对象

采用urlopen方法处理构建的request对象，返回服务器的应答(response对象)

对response对象使用read方法，返回网页的内容

request = urllib2.Request('股票代码查询一览表')

response = urllib2.urlopen(request)

content = response.read().decode("gbk")

一些网站不允许程序直接采用上面的方式进行访问，因此需要通过程序模拟浏览器的行为。通常采用的技术是在Re