更多教程请移步至:洛凉博客
最近一直在看北京理工大学嵩教授主讲的:Python网络爬虫与信息提取
课程里面也有很多实例。大家可以去中国MOOC搜索查看下实例。
不过教授的思路挺好的。代码稳定性也没得说。全程都要异常处理。
今天记录的爬取百度股市通代码。我首先看了下教授的爬取思路,然后自己开始写代码。
在股票获取详细信息的时候搞不定了,借鉴了下老师的代码,最终拿下那些数据。
然后继续下一步。
最后成功保存到了股票详细信息。
最后去看了下老师的完整代码。看到老师写了进度,我也就借鉴了下。
这里我有几处自以为挺好,哈哈。
老师获取股票代码先通过bs4解析,在正则匹配a标签里面的数据。
老师保存的股票信息也只是纯保存了获取到后存在字典里的数据。
而我,股票代码直接用正则去匹配,省去了bs4这步。
保存数据这块我也去遍历了字典取出键和值保存。(感觉美观一点)
第一次写完运行发现进度太慢了。
今天看了下threading模块。(理解能力比较差,看了半天只会这一点。)
直接开启了五个线程执行。下面的图片可以看到执行了50分钟才跑完。
队列还不会,这里就不说了。还望大佬们指点,评论。谢谢!
跑完后截得图.png
下面大家看代码吧。代码应该还能优化,能力有限,就写到这里了。