记录一次简易爬虫

需求

一份Excel里有一列是商品Link，要求获取该goods的shop_id，并存入excel对应新的一列

实现

技术手段：

前端
excel里绘制界面UI，调用宏（xlwings框架支持从excel直接调用Python）
逻辑端

• 方案一(放弃)
  直接使用request发起请求，拿回response，并正则匹配html里的shop_id字段
  结果：已经模拟真实UA了，但是请求久了还是会被Ban了，报ConnectError之类
• 方案二（可使用）
  使用seleium，通过driver.get(‘URL’) 以及 driver.page_source 可拿到html内容，再进行正则匹配，使用下来，每个页面都可以打开，未出现被Ban情况
  • 执行顺序
    1. 读取excel，遍历商品Link列，以(行号，商品Link)为tuple，存入Queue中（为了线程安全）
    2. 使用多线程（threading），提高爬取效率，我创建5个线程，每个线程都传一个Seleium Driver进去，通过Queue.get拿取到上一步的(行号，商品Link)，进行获取Shop_id的逻辑，拿到结果后，再把结果以(行号，shop_id)存入一个新的Queue中
    3. 最后就是打开原来的excle，根据行号和数据写入新的数据。

需求实现了，但是编码上还是不太优雅，还是要多看一些类库源码学习