python爬取股票代码_Python爬取百度股市通股票详细信息

更多教程请移步至：洛凉博客

最近一直在看北京理工大学嵩教授主讲的：Python网络爬虫与信息提取

课程里面也有很多实例。大家可以去中国MOOC搜索查看下实例。

不过教授的思路挺好的。代码稳定性也没得说。全程都要异常处理。

今天记录的爬取百度股市通代码。我首先看了下教授的爬取思路，然后自己开始写代码。

在股票获取详细信息的时候搞不定了，借鉴了下老师的代码，最终拿下那些数据。

然后继续下一步。

最后成功保存到了股票详细信息。

最后去看了下老师的完整代码。看到老师写了进度，我也就借鉴了下。

这里我有几处自以为挺好，哈哈。

老师获取股票代码先通过bs4解析，在正则匹配a标签里面的数据。

老师保存的股票信息也只是纯保存了获取到后存在字典里的数据。

而我，股票代码直接用正则去匹配，省去了bs4这步。

保存数据这块我也去遍历了字典取出键和值保存。(感觉美观一点)

第一次写完运行发现进度太慢了。

今天看了下threading模块。(理解能力比较差，看了半天只会这一点。)

直接开启了五个线程执行。下面的图片可以看到执行了50分钟才跑完。

队列还不会，这里就不说了。还望大佬们指点，评论。谢谢！

跑完后截得图.png

下面大家看代码吧。代码应该还能优化，能力有限，就写到这里了。