Python爬虫自动化办工实战案例--借助xlwings实现excel调用Python爬虫

Python爬虫自动化办工实战案例

----借助xlwings实现excel调用Python爬虫

前言

  本案例将实现excel集成用户自定义Python函数（xlwings UDFs），并从excel中通过调用函数，轻松爬取对应微博博文的转评赞数据。

1. excel安装xlwings

  首先在命令行窗口，卸载掉原来可能存在的xlwings

pip uninstall xlwings

conda uninstall xlwings

  在命令行窗口下载并安装xlwings

pip install xlwings

  安装excel插件

xlwings addin install

  关于xlwings作者就不再过多说明，简短来说，xlwings插件可以让我们在excel中轻松运行Python程序。

2. excel设置

  打开任意一个excel表单，选择“文件”–>“选项”：自定义功能区，选择开发工具–>“信任中心”–>“信任中心设置”–>“宏设置”：启用所有宏+信任对VBA工程对象模型的访问。

3. 建立excel表单

  在一个适合的地方（例如桌面），新建一个excel表单，另存为.xlsm文件。
  建立一个后缀为.py的Python文件用于我们编写Python代码。

4. 设置.xlsm文件

  设置xlwings选项卡：Interpreter中填写pythonw.exe的路径，PYTHONPATH填写要调用的python文件所在文件夹，UDF Modules填写.py文件的名字（不带后缀），勾选RunPython: Use UDF Server。
  当我们在excel中借助xlwings插件调用Python程序时，插件会借助PYTHONPATH提供的路径，找到UDF Modules中的文件，进行调用。

5. 编写Python爬虫程序

  打开我们的weibodata.py，稍微改写下我们上一个案例中的程序，修改成getpost(url)函数，用于获取转发数。

import xlwings as xw
import bs4     # 网页解析，获得数据
import re      # 正则表达式，进行文字匹配
import urllib.request,urllib.error    # 指定URL，获取网页数据
from bs4 import BeautifulSoup
@xw.func
def getpost(weibo_url):
    head = {  # 模拟浏览器头部信息
        'user-agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1'
    }
    request = urllib.request.Request(weibo_url, headers=head)
    html = ''
    try:
        response = urllib.request.urlopen(request)
        html = response.read().decode('utf-8')
    except urllib.error.URLError as e:
        if hasattr(e, 'code'):
            print(e.code)
        if hasattr(e, 'reason'):
            print(e.reason)
    soup = BeautifulSoup(html, 'html.parser')
    item = soup.find_all('script')
    item = str(item)
    findrepost = re.compile(r'"reposts_count": (.*?),')
    repo = re.findall(findrepost, item)
    return repo

  需要注意的是：

import xlwings as xw
@xw.func

  这两句一定要加上。

6. 设置excel

  选择开发工具中的查看代码，选择工具，引用。

  勾选xlwings。

  回到excel的xlwings选项卡，点击Import Functions。到此为止，我们的Python程序就已经被集成为一个excel函数了。

  至此，便完成了本次项目。