前言:
本篇文章主要是分享如何通过python脚本来实现爬取confluence上的内容,来找到包含指定内容的页面。
(网上找了一圈也没有合适的内容,因此分享一下自己研究成功的代码)
我这个脚本主要就是为了排查confluence上是否有人将账号密码明文放在文章中
具体逻辑不详细介绍了,网上有很多,相关注意事项都写在了代码中了
'''
writer by fly夏天
'''
import requests,openpyxl
import json
next = ""
loop =2
#遍历查询
def search(next):
if next == "":
url = "url/rest/api/content/search"
#这里的url需要替换成自己的confluence地址
#官方上写的路由很乱,实际上对内容搜索需要调用/rest/api/content/search这个api
headers = {
"Accept": "application/json",
"Cookie":"JSESSIONID=JSESSIONID"
#官网上给了好几种认证方式,我实测中都没有成功,还是这个靠谱,直接浏览器登录用生成的cookie来操作,授权上肯定是没问题
#请注意,如果你的代码正常运行没有错误产生,但无法搜索到结果,请检查此处的cookie授权是否有问题
}
query = {
'cql': '{text~"密码" or text~"password" or text~"passwd"}' ,
#查询语句,text表示查询文本内容,其他标签可以查看官网上的介绍
#注:这里有一个坑,这儿的匹配不要写=而是要用~ 否则会出现匹配不到结果的情况
'limit':'10',
#返回条数
'expand':"history.contributors",
#expand包含的是额外的查询结果,history.contributors指的是文档的创始人
'next':next
#confluence需要通过next来实现下一页的查询功能 因此我们需要提交这个参数
}
response = requests.request(
"GET",
url,
headers=headers,
params=query
)
else :
response =requests.request("GET","url"+next)
#这里的url需要替换成自己的confluence地址
#实际上next包含了初次查询需要构成的所有参数,因此在查询第二页内容的时候已经不需要构造初始查询的参数了
response_content = json.loads(response.text)
next = response_content["_links"]['next']
#print(next)
result = response_content['results']
deal_data(result)
return None if next == "" else next
#将爬取的结果写入excel
def deal_data(result):
workbook=openpyxl.load_workbook("C:\\Users\\Administrator\\Desktop\\check_data.xlsx")
sheet=workbook['Sheet1']
global loop
for re in result:
story = re['_expandable']['space'] #文章所有空间
type = re['type'] #文章类型
title = re['title'] #文章标题
webui ="url"+re["_links"]['webui'] #对应的网页链接地址,url需要替换成自己的confluence地址
#print(re['history']['createdBy'])
if re['history']['createdBy']['type'] == 'known':
user = re['history']['createdBy']['username']
else :
user = "Anonymous"
#user对应文章的创建者
#这里有一个小坑,如果是匿名用户创建的文章,就不存在username这个字段,因此需要进行一次判断
#正常运维的话建议关闭匿名用户的功能
sheet.cell(row=loop,column=1).value=story
sheet.cell(row=loop,column=2).value=type
sheet.cell(row=loop,column=4).value=webui
sheet.cell(row=loop,column=3).value=user
loop=loop+1
workbook.save("C:\\Users\\Administrator\\Desktop\\check_data.xlsx")
#循环读取数据
#注:本程序查询完成后会异常结束,但是不影响结果,懒得改了,凑合着用把
while next != None:
next = search(next)