confluence_table数据爬取

需求场景：

  获取指定confluence文档中的表格数据，同时将页面中的附件下载在指定的文件夹中。

实现步骤：

1. 开启confluence的远程api端口
   

2. 选择使用的接口。 可以参考 官方接口文档 。

3. 当前示例用到的接口为：

   Get content /rest/api/content/{content_id}

   Content - attachments /rest/api/content/{content_id}/child/attachment

4. 调用接口，查看接口返回的数据是否满足要求。

   • 首先获取文档内容：/rest/api/content/{content_id}
     

     没有需要的表格内容。

     先来看一下如果使用接口创建一个content需要传递什么参数，参考 官方文档 ， 示例参数中有一个body结构体，而获取文档接口返回值中没有该内容。

     

     在获取文档内容结构中添加参数 ?expand=body.storage ， 即获取body结构体中的storage对象。再次查看接口返回值：

        注意：
                
        接口返回的表格数据和我们在页面看到的表格相比，缺失了部分内容。比如含有json、zip文件的列。
        
        接口返回的表格数据不会包含其他页面的引入数据。可以点击编辑查看本页面的数据。
     

     
     

        接口返回值中，多的内容像是html的表格内容。我们可以`pandas.read_html()`直接读取这个表数据。
     

   • 查看文档附件接口的内容： /rest/api/content/{content_id}/child/attachment

     

5. 编码实现功能:

   
   import os
   import re
   from datetime import datetime
   
   import pandas as pd
   import requests
   from clint.textui import progress
   from sqlalchemy import create_engine
   
   
   def confirm_path_exists(path):
       if not os.path.exists(path):
           os.makedirs(path)
   
   
   def is_url(url):
       pattern = re.compile("^([hH][tT]{2}[pP]://|[hH][tT]{2}[pP][sS]://)(([A-Za-z0-9-~]+).)+([A-Za-z0-9-~\\/])+$")
       match_obj = pattern.match(url)
   
       if match_obj != None:
           return True
       else:
           return False
   
   
   def get_df_from_html(html, table_index=0):
       """
           获取html中的表格
       :param html: html数据
       :param table_index: 表格的编号，标定数据表格一般是第一个，drsu数据表格一般为最后一个
       :return: 表格数据
       """
       df = pd.read_html(html)
       # 表数据处理
       # 获取table数据
       if len(df) == 0:
           print('页面没有table结构')
           return False, '页面没有table结构'
       df_with_zip = df[table_index]
   
       return df_with_zip
   
   
   confluence_host = 'http://172.18.3.2:8090'
   mmp_host = 'http://127.0.0.1:5000'
   
   
   def get_content(session, content_id=7209464):
       """
           获取指定页面的内容
       :param session: 
       :param content_id: 
       :return: 
       """
       url = confluence_host + f'/rest/api/content/{content_id}?expand=body.storage'
       res = session.get(url)
   
       return res
   
   
   def get_attachments(session, content_id=7209464):
       """
           获取页面的附件
       :param session: 会话
       :param content_id: 页面id
       :return: 附件列表
       """
       url = confluence_host + f'/rest/api/content/{content_id}/child/attachment'
       res = session.get(url)
   
       content_attachments = []
       if res.status_code == 200:
           res_data = res.json()
           content_attachments.extend(res_data['results'])
           while res_data['size'] >= res_data['limit']:
               if 'next' in res_data['_links']:
                   next_url = confluence_host + res_data['_links']['next']
               else:
                   print(f'缺少翻页的链接： {res_data["_links"]}')
                   break
   
               res = session.get(next_url)
               if res.status_code == 200:
                   res_data = res.json()
                   content_attachments.extend(res_data['results'])
   
       else:
           print(f'获取附件出错：{res.text}')
   
       return content_attachments
   
   
   def get_zip_file_list(attachments_list):
       """
           筛选出zip类型的附件信息
       :param attachments_list: 附件列表
       :return:
       """
       zip_file_list = []
       for attachment in attachments_list:
           # 判断是否是zip文件
           if attachment['extensions']['mediaType'] == 'application/zip':
               # 将节点中的信息格式化处理
               down_host = attachment['_links']['self'].split('/rest')[0]
               zip_file_list.append({
                   'file_name': attachment['title'],
                   'file_href': down_host + attachment['_links']['download'],
               })
       print(zip_file_list)
       return zip_file_list
   
   
   def write_db(df, table_name, engine):
       # 写入数据库
       df.to_sql(table_name, con=engine, if_exists='append', index=False)
   
   
   
   def download_file(session, url, save_dir='./', file_name=None):
       """
           根据url将文件下载至指定位置
       :param save_dir: 
       :param url: 下载地址
       :param save_path: 保存路径
       :return:
       """
       # 确认路径是否存在
       confirm_path_exists(save_dir)
   
       # url合法性校验
       if not is_url(url):
           return False, 'url 不合法'
   
       if file_name is None:
           if '?' in url:
               url = url.split('?')[0]
           file_name = url.split('/')[-1]
       save_path = os.path.join(save_dir, file_name)
   
       # 文件下载
       res = session.get(url)
       if res.status_code != 200:
           print(res.text)
           return False, res.text
   
       try:
           with open(save_path, 'wb') as f:
               # 添加进度条
               total_length = int(res.headers.get('content-length'))
               for chunk in progress.bar(res.iter_content(chunk_size=2391975), expected_size=(total_length / 1024) + 1):
                   if chunk:
                       f.write(chunk)
                       f.flush()
           if not os.path.isfile(save_path):
               return False, '文件下载失败。'
       except Exception as e:
           print(f'错误信息： {str(e)}')
           return False, str(e)
   
       return True, '成功'
   
   
   def inset_table(session, html_id=7209464, table_name='version_upgrade',
                       engine=create_engine(f'sqlite:///cal.db', encoding='utf8')):
       res = get_content(session, html_id)
   
       if res.status_code == 200:
           # 标定文件表数据
           html_view = res.json()['body']['storage']['value']
           df = get_df_from_html(html_view)
   
           write_db(df, table_name, engine)
   
   
   def download_cal_and_update_table(session, html_id, save_dir):
       # 标定附件
       attachments = get_attachments(session, html_id)
       # 标定文件下载信息
       file_info = get_zip_file_list(cal_attachments)
       for zip_file in file_info:
           url = zip_file['file_href']
           file_name = zip_file['file_name']
           download_status, msg = download_file(session, url, save_dir)
   
   
   def main():
       # 登录cookies，因为confluence设置了登录验证码，所以这里直接使用cookie跳过登录操作
       header = {
           'Cookie': 'JSESSIONID=404FEBB859A8D689A590BCE4BE574F'
       }
   
       # 导入的表名
       table_name = 'cal_version_upgrade'
       # 导入的数据库
       db_path = r'D:\work\drsu_mmp\drsu_mmp_backend\config\drsu.db'
       engine = create_engine(f'sqlite:///{db_path}', encoding='utf8')
   
       # 下载标定文件保存位置
       save_dir = r'D:\home\drsu_mmp\upgrade\calibration\'
   
       # confluence标定文档id
       html_id = 7209464
   
       session = requests.session()
       session.headers = header
   
       # 将标定文档中的数据插入表数据
       inset_cal_table(session, html_id=html_id, table_name=table_name, engine=engine)
       # 根据标定文档和drsu文档信息更新标定版本记录表数据
       download_zip_and_update_table(session, cal_html_id, proj_id, save_dir)