Python爬虫入门：爬虫抓取沪深300指数列表

使用Python3爬取沪深300指数列表

1. 思路分析

用chrome打开维基百科沪深300的页面，网址为：https://en.wikipedia.org/wiki/CSI_300_Index 。如下图一所示，可见沪深300指数股票列表。其中，包含了股票代号、公司名，交易所名称，权重和所属行业。这个列表所包含的信息就是我们所需要的。我们在向浏览器发送请求的时候，返回的是html代码，平时用浏览器浏览网页看到的这些图文并茂的规整的页面其实是html代码在经过浏览器渲染后的结果。所以，我们需要找到我们所需要抓取的信息在html代码中的位置，这个就是html解析了。解析的工具很多，作为资深小白，这里笔者选用正则表达式直接分析抓取信息。之所以没有使用成熟的Beautifulsoup4，Xpath等解析包，更多的是作为小白，从正则表达式入手更能体现抓取过程和抓取原理。这里，之后不妨大家试一试使用成熟解析包BS4之类的尝试一下。