Python爬虫120例之第20例，1637、一路商机网全站加盟数据采集

接下来的一些案例，将围绕销售用基础数据采集，行业将选择美妆行业，请知晓。

本案例将采用 lxml 与 cssselect 相结合的方式进行采集，重点在 cssselect 选择器。

目标站点分析

本次要抓取的目标为 http://www.1637.com/，该网站具备多分类，采集时提前将分类存储到一列表中，便于后续扩展。后来发现可一级行业可以选择 不限，此时可获取全部分类，基于此，我们先将全部数据抓取到本地，然后在筛选出美容/美妆行业相关加盟数据即可。

本次要抓取的数据量与页数如下图所示。

抓取数据采用旧办法，先把 HTML 页面保存到本地，然后在进行二次处理。

使用到的技术点

请求数据使用 requests，数据提取使用 lxml + cssselect 实现，使用 cs