【背景】
做市场洞察,经常需要分析某个行业的Top客户,通常会通过某种活动或某种机构获取名单。网站上也能收集到,但是手工收集比较麻烦。
下面通过Python网络爬虫 获取2018年重庆智博会参会企业的名单来体验,如何批量获取目标网页的名单。
【操作步骤】
1、分析网页的地址结构
重庆智博会官网-展览-展商名册,第一页如下:
首先分析网址:
总计27页,每页最多20个企业
第1页:https://www.smartchina-expo.cn/exhibition/roster.html
第2页:https://www.smartchina-expo.cn/exhibition/roster-page-2.html