python模拟excel登录插件,Python爬虫自动化办工实战案例--借助xlwings实现excel调用Python...

Python爬虫自动化办工实战案例--借助xlwings实现excel调用Python

Python爬虫自动化办工实战案例--借助xlwings实现excel调用Python爬虫

Python爬虫自动化办工实战案例

??本案例将实现excel集成用户自定义Python函数(xlwings UDFs)，并从excel中通过调用函数，轻松爬取对应微博博文的转评赞数据。

1. excel安装xlwings

??首先在命令行窗口，卸载掉原来可能存在的xlwings

pip uninstall xlwings

conda uninstall xlwings

??在命令行窗口下载并安装xlwings

pip install xlwings

??安装excel插件

xlwings addin install

??关于xlwings作者就不再过多说明，简短来说，xlwings插件可以让我们在excel中轻松运行Python程序。

2. excel设置

??打开任意一个excel表单，选择“文件”–>“选项”：自定义功能区，选择开发工具–>“信任中心”–>“信任中心设置”–>“宏设置”：启用所有宏+信任对VBA工程对象模型的访问。

3. 建立excel表单

??在一个适合的地方(例如桌面)，新建一个excel表单，另存为.xlsm文件。

??建立一个后缀为.py的Python文件用于我们编写Python代码。

4. 设置.xlsm文件

??设置xlwings选项卡：Interpreter中填写pythonw.exe的路径，PYTHONPATH填写要调用的python文件所在文件夹，UDF Modules填写.py文件的名字(不带后缀)，勾选RunPython: Use UDF Server。

??当我们在excel中借助xlwings插件调用Python程序时，插件会借助PYTHONPATH提供的路径，找到UDF Modules中的文件，进行调用。

5. 编写Python爬虫程序

??打开我们的weibodata.py，稍微改写下我们上一个案例中的程序，修改成getpost(url)函数，用于获取转发数。

import xlwings as xw

import bs4 # 网页解析，获得数据

import re # 正则表达式，进行文字匹配

import urllib.request,urllib.error # 指定URL，获取网页数据

from bs4 import BeautifulSoup

@xw.func

def getpost(weibo_url):

head = { # 模拟浏览器头部信息

'user-agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1'

}

request = urllib.request.Request(weibo_url, headers=head)

html = ''

try:

response = urllib.request.urlopen(request)

html = response.read().decode('utf-8')

except urllib.error.URLError as e:

if hasattr(e, 'code'):

print(e.code)

if hasattr(e, 'reason'):

print(e.reason)

soup = BeautifulSoup(html, 'html.parser')

item = soup.find_all('script')

item = str(item)

findrepost = re.compile(r'"reposts_count": (.*?),')

repo = re.findall(findrepost, item)

return repo

??需要注意的是：

import xlwings as xw

@xw.func

??这两句一定要加上。

6. 设置excel

??选择开发工具中的查看代码，选择工具，引用。

??勾选xlwings。

??回到excel的xlwings选项卡，点击Import Functions。到此为止，我们的Python程序就已经被集成为一个excel函数了。

??至此，便完成了本次项目。

Python爬虫自动化办工实战案例--借助xlwings实现excel调用Python相关教程