python爬取网页案例-confuence知识库按人员统计文章思路

需求:增量按照时间段统计每个人知识库文章的文章数量、创建人、操作时间、修改人、文章内容、文章链接。并将每个人的统计结果导出到excel。

实现步骤:
1、首先找到最适合的网页,即:能爬取出需求所需要的数据 的 最合适的网页
最合适的页面为右上方的搜索,如下示例图:
在这里插入图片描述
点击搜索如下:
在这里插入图片描述
点击高级搜索出现如下:下图中可根据很多提供的条件进行获取文章、文章摘要等,还有日期时间段条件。所以就选定如下页面进行数据爬取。
在这里插入图片描述

2、由于网站做了反爬手段,所以需要首先模拟登录,登录账号使用个人账号即可,模拟登录库使用requests session 库。代码示例如下:

base_url = 'http://192.168.10.18:8080'
    login_action_url = "http://192.168.10.18:8080/dologin.action"
    headers = {
        "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.80 Safari/537.36",
        "Referer": "http://192.168.10.18:8080/login.action?language=zh_CN"

    }
    login_data = {
        "os_username": "真实用户名",
        "os_password": "真实密码",
        "login": "登录",
        "os_destination": ""
    }
    import requests
    session = requests.session()
    # 发起登录请求
    response_post = session.post(url=login_action_url, data=login_data, headers=headers)

    content_post = response_post.text
    # with open('conloginSucess.html', 'w', encoding='utf-8')as fp:
    #     fp.write(content_post)
    print(session.cookies)
    print("登录成功")

3、登录成功后再次请求网页时则使用session 进行请求,因为requests.session 每次请求后都会携带cookie,从而保证登录状态,请求刚刚需要的网页地址,并获取页面源码
经过分析可知:要爬取的页面为分页数据,故地址为:
http://192.168.10.18:8080/dosearchsite.action?cql=type+%3D+%22page%22&startIndex=50
其中startIndex参数为第6页的标识别。第一页的网址为 http://192.168.10.18:8080/dosearchsite.action?cql=type+%3D+%22page%22
其他第n页的网址为:
http://192.168.10.18:8080/dosearchsite.action?cql=type+%3D+%22page%22&startIndex=n*10-10
所以根据这个规律可循坏获取所有页面网页源码并进行解析。这里就不详细写代码了。

    article_list = []
    for i in 100:
         article_dict = {}
        if i==1:
           url = http://192.168.10.18:8080/dosearchsite.action?cql=type+%3D+%22page%22
        else:
           url = http://192.168.10.18:8080/dosearchsite.action?cql=type+%3D+%22page%22&startIndex=i*10-10
        current_res = session.get(url=current_href).text
        # 解析 current_res,组成想要的数据 放到list 中即可 使用xpath 库
        from lxml import etree
        tree = etree.HTML(current_res)
        # xpath 解析,解析出文章列表,循环文章列表 获取数据组成一个文章实体,放到article_list中。

4、解析成功后将需要的数据保存到list列表中,并导出到excel

def exporToExcel(article_list):
    from openpyxl import load_workbook
    from openpyxl import Workbook
    workbook = Workbook()
    wb = workbook.create_sheet(index=0)
    wb.cell(row=1, column=1, value='按人员统计')
    wb.cell(row=1, column=2, value='文章名称')
    wb.cell(row=1, column=3, value='文章链接')
    wb.cell(row=1, column=4, value='创建人')
    wb.cell(row=1, column=5, value='修改人')
    wb.cell(row=1, column=6, value='处理时间')
    count = 2
    for article in article_list:
        # 将数据写入到下一行
        wb.cell(row=count, column=1, value=article["tj_user"])
        wb.cell(row=count, column=2, value=article["a_title"])
        wb.cell(row=count, column=3, value=article["a_href"])
        wb.cell(row=count, column=4, value=article["a_c_person"])
        wb.cell(row=count, column=5, value=article["a_m_person"])
        wb.cell(row=count, column=6, value=article["a_date"])
        count += 1
    workbook.save(filename='article_list.xlsx'

总结

爬虫爬取最重要的是找到合适的页面进行数据分析。其他都不难。

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
新发地是中国北京市的蔬菜批发市场,每天都有大量的蔬菜价格行情更新。想要用Python爬取新发地的价格行情,可以通过以下几个步骤来实现。 首先,需要导入相关的Python库,包括requests和beautifulsoup库。requests库用于发送HTTP请求获取网页的内容,beautifulsoup库用于解析网页的内容。 接下来,需要分析新发地价格行情所在的网页结构。可以通过打开新发地的价格行情网页,查看网页的源代码来分析。一般来说,每个蔬菜的价格信息都会包含在一个HTML标签中,可以通过查找这个标签来筛选出所需的信息。 然后,使用Python编写代码来发送HTTP请求并获取价格行情网页的内容。可以使用requests库的get方法来发送GET请求,并使用其返回的response对象的text属性来获取网页的内容。 接着,使用beautifulsoup库来解析网页的内容。可以使用beautifulsoup库的BeautifulSoup类来初始化一个解析器对象,并使用其find_all方法来查找指定的HTML标签。通过查找所需标签,可以获取到蔬菜的名称和对应的价格信息。 最后,将获取到的价格信息进行整理和格式化,并保存到文件中或者打印出来。 需要注意的是,爬取网页的过程中需要注意遵守相关的法律法规,并尊重网站的使用规则,不要对网站进行过多的频繁请求,以免给网站带来压力。 通过以上步骤,就可以用Python爬取新发地的价格行情了。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

senda66

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值