python(BeautifulSoup)爬取wiki页面内容,并写入EXCEL中

1、每个版本都会发布n多个功能点,功能点全部列在wiki上,但是发现wiki使用起来并不是很方便,尤其列在上面的内容有长、有短,内容参差不齐。所以,就想到了用python爬取页面内容,寻找规律,将爬取的数据写入到excel表中,查看和统计数据方便很多。提升了测试管理效率,尽量通过自动化实现测试数据的汇总整理。

2、主要应用contents属性,contents能够获取到的是标签下的第一个标签,得到的是一个数组列表,且是一个bs4.element.Tag,支持取text属性值

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup
import xlwt
import xlrd
from xlutils import copy
import os

# 功能点wiki
url_api = 'http://wiki.xxx.com/pages/viewpage.action?pageId=33884117'


#文件存放路径
file_path ='E:\\003spider\\commit_testlist_ok\\'
excel_name = 'testlist_commit.xlsx'

#判断文件目录的存在性
def dir_exists(file_path):
    is_exists = os.path.exists(file_path)
    if not is_exists:
        os.makedirs(file_path)
        return file_path
    else:
        return file_path

#判断excel文件的存在性
def file_excel_exists(fi
  • 0
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值