python爬取网页案例-confuence知识库按人员统计文章思路

需求:增量按照时间段统计每个人知识库文章的文章数量、创建人、操作时间、修改人、文章内容、文章链接。并将每个人的统计结果导出到excel。

实现步骤:
1、首先找到最适合的网页,即:能爬取出需求所需要的数据 的 最合适的网页
最合适的页面为右上方的搜索,如下示例图:
在这里插入图片描述
点击搜索如下:
在这里插入图片描述
点击高级搜索出现如下:下图中可根据很多提供的条件进行获取文章、文章摘要等,还有日期时间段条件。所以就选定如下页面进行数据爬取。
在这里插入图片描述

2、由于网站做了反爬手段,所以需要首先模拟登录,登录账号使用个人账号即可,模拟登录库使用requests session 库。代码示例如下:

base_url = 'http://192.168.10.18:8080'
    login_action_url = "http://192.168.10.18:8080/dologin.action"
    headers = {
        "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.80 Safari/537.36",
        "Referer": "http://192.168.10.18:8080/login.action?language=zh_CN"

    }
    login_data = {
        "os_username": "真实用户名",
        "os_password": "真实密码",
        "login": "登录",
        "os_destination": ""
    }
    import requests
    session = requests.session()
    # 发起登录请求
    response_post = session.post(url=login_action_url, data=login_data, headers=headers)

    content_post = response_post.text
    # with open('conloginSucess.html', 'w', encoding='utf-8')as fp:
    #     fp.write(content_post)
    print(session.cookies)
    print("登录成功")

3、登录成功后再次请求网页时则使用session 进行请求,因为requests.session 每次请求后都会携带cookie,从而保证登录状态,请求刚刚需要的网页地址,并获取页面源码
经过分析可知:要爬取的页面为分页数据,故地址为:
http://192.168.10.18:8080/dosearchsite.action?cql=type+%3D+%22page%22&startIndex=50
其中startIndex参数为第6页的标识别。第一页的网址为 http://192.168.10.18:8080/dosearchsite.action?cql=type+%3D+%22page%22
其他第n页的网址为:
http://192.168.10.18:8080/dosearchsite.action?cql=type+%3D+%22page%22&startIndex=n*10-10
所以根据这个规律可循坏获取所有页面网页源码并进行解析。这里就不详细写代码了。

    article_list = []
    for i in 100:
         article_dict = {}
        if i==1:
           url = http://192.168.10.18:8080/dosearchsite.action?cql=type+%3D+%22page%22
        else:
           url = http://192.168.10.18:8080/dosearchsite.action?cql=type+%3D+%22page%22&startIndex=i*10-10
        current_res = session.get(url=current_href).text
        # 解析 current_res,组成想要的数据 放到list 中即可 使用xpath 库
        from lxml import etree
        tree = etree.HTML(current_res)
        # xpath 解析,解析出文章列表,循环文章列表 获取数据组成一个文章实体,放到article_list中。

4、解析成功后将需要的数据保存到list列表中,并导出到excel

def exporToExcel(article_list):
    from openpyxl import load_workbook
    from openpyxl import Workbook
    workbook = Workbook()
    wb = workbook.create_sheet(index=0)
    wb.cell(row=1, column=1, value='按人员统计')
    wb.cell(row=1, column=2, value='文章名称')
    wb.cell(row=1, column=3, value='文章链接')
    wb.cell(row=1, column=4, value='创建人')
    wb.cell(row=1, column=5, value='修改人')
    wb.cell(row=1, column=6, value='处理时间')
    count = 2
    for article in article_list:
        # 将数据写入到下一行
        wb.cell(row=count, column=1, value=article["tj_user"])
        wb.cell(row=count, column=2, value=article["a_title"])
        wb.cell(row=count, column=3, value=article["a_href"])
        wb.cell(row=count, column=4, value=article["a_c_person"])
        wb.cell(row=count, column=5, value=article["a_m_person"])
        wb.cell(row=count, column=6, value=article["a_date"])
        count += 1
    workbook.save(filename='article_list.xlsx'

总结

爬虫爬取最重要的是找到合适的页面进行数据分析。其他都不难。

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

senda66

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值