python产品缺陷_基于python从redmine-api中获取项目缺陷数据（1）

1.引言

本文主要内容是将如何利用 Python 对 Redmine缺陷进行缺陷数据获取操作。目前统计缺陷数据时基本是根据项目手动去redmine获取缺陷数据，至少要花费一个工作日去完成,目前的目标是通过python脚本通过 Redmine-API快速去获取各个维度的缺陷数据

需求:

需要输出 产品质量数据(总BUG数，每日新建bug数，每日关闭bug数，bug修复周期，bug提交者统计、bug严重程度比)

实现方案：

1.redmine API形式发布不同维度的缺陷数据统计接口

2.采用python调用api接口，获取缺陷数据，并存储在数据库

2.必备环境

Python3

pycharm IDE

mysql

自行安装Python需要的包

redminelib

datetime

json

pandas

charts

3.redmine-api理解

了解各个字段代表的含义，比如新建BUG、关闭BUG，优先级、作者，引入者、BUG状态等字段的定义及获取

4.基于python编码－获取缺陷数据

引入必须的python库及包

#coding=utf-8

#引入所需要的库

from redminelib import Redmine

from pandas import DataFrame;

from string import punctuation

import datetime

import time

import matplotlib

import charts

from mysql_save import Bugcount

import json

定义函数

由于篇幅有限及涉及项目业务，这里只摘抄一部分关键代码

首先定义函数

def __init__(self, userName, passWord):

self.userName = userName

self.passWord = passWord

self.redMineURL = 'http://10.20.11.218:8222/redmine'

try:

self.redmine = Redmine(self.redMineURL, username=self.userName, password=self.passWord)

self.project = self.redmine.project.get('f_project')

except Exception as ex:

raise RuntimeError('无法连接到Redmine，请检查网络！\n'+ str(ex))

self.fields = None

#新建BUG数定义筛选

def creat_list(created_on,subject):

redmine = MyRedMine("zhangmeiyuan656", "password")

issues1 = redmine.redmine.issue.filter(

project_id='f_project',

created_on='>

#closed_on='>

status_id='*'

subject=('~'+str(subject)).encode('utf-8'))

result1=str(len(issues1))

return result1

#return issues

#关闭BUG数定义筛选

def closed_list(closed_on,subject):

redmine = MyRedMine("zhangmeiyuan656", "password")

issues2 = redmine.redmine.issue.filter(

project_id='f_project',

closed_on='>

status_id='*',

subject=('~'+str(subject)).encode('utf-8'))

result2=str(len(issues2))

return result2

＃数据处理及时间戳转换使用

if __name__ == '__main__':

redmine = MyRedMine("zhangmeiyuan656", "PASSDWOR")

start_time = "2017-08-01 00:00:00"

end_time = "2017-08-16 00:00:00"

start_time = int(time.mktime(time.strptime(start_time, "%Y-%m-%d %H:%M:%S")))

end_time = int(time.mktime(time.strptime(end_time, "%Y-%m-%d %H:%M:%S")))

c = start_time

while (c < end_time):

c = c + 86400

d = datetime.datetime.utcfromtimestamp(c)

f=str(d.strftime("%Y-%m-%d")

#定义类，字典，导入MYSQL数据库

bugCount = Bugcount()

bug_data1 = {}

bug_data1['date_time'] = f

bug_data1['newbug'] = creat_list(f,"XXXv1.0")

bug_data1['closebug'] = closed_list(f,"XXXv1.0")

bugCount.insert_to_db(bug_data1)

bug_data1_string = json.dumps(bug_data1)

print ('json:',bug_data1_string)

4.数据存储

MYSQL安装：

在官网上下载mysqlserver 下一步一直安装

mysql配置

1.step1：

苹果->系统偏好设置->最下边点mysql 在弹出页面中 关闭mysql服务

(点击stop mysql server)

2.进入终端输入：cd /usr/local/mysql/bin/

回车后 登录管理员权限 sudo su

回车后输入以下命令来禁止mysql验证功能 ./mysqld_safe --skip-grant-tables &

回车后mysql会自动重启(偏好设置中mysql的状态会变成running)

3.输入命令 ./mysql

回车后，输入命令 FLUSH PRIVILEGES;

回车后，输入命令 SET PASSWORD FOR 'root'@'localhost' = PASSWORD('你的新密码');

至此，密码修改完成，可以成功登陆。

注意测试：mac终端基础操作mysql

首先手动启动MySQL应用程序

打开终端输入如下命令： /usr/local/MySQL/bin/mysql -u root -p

*4、进入编码,新建脚本mysql_sav.py

由于篇幅有限，这里只摘抄一部分

#coding=utf-8

#引入所需要的库

import pymysql

import json

#"""docstring for Bugcount"""

#连接数据库

connect = pymysql.connect(

host='localhost',

user='root',

passwd='jammy2017',

db='test',

port=3306,

charset='utf8'

)

#获取cursor对象来进行操作

cursor = connect.cursor()

def __init__(self):

pass

#插入数据

def insert_to_db(self, bug_data):

self.cursor.execute("use test")

self.cursor.execute(

"insert into bug_line(date_time,newbug,closebug) values(%s,%s,%s)", (bug_data.get('date_time'), bug_data.get('newbug'), bug_data.get("closebug")))

self.connect.commit()

5.数据展现

这里尝试了三种方式

1、一种是将数据通过pands方法转换后以csv格式导出,这种只适用于将获取到的数据导出excel表格

示例如下：

#生成CSV格式导出

# df = DataFrame({

# '时间周期':['2017-07-24|2017-07-30','2017-07-20|2017-07-23','2017-07-10|2017-07-20'],

# '每周新建bug数':[str(len(issues)),str(len(issues2)),str(len(issues3))],

# '每周关闭bug数':[str(len(issues4)),str(len(issues5)),str(len(issues6))]

# })

# print(df)

# df.to_csv(

# "/Users/zhangmeiyuan/Desktop/爬虫脚本/bug趋势表格.csv",encoding='gb18030'

# )

2、通过POTLY库生成图表，不过此方法是在线生成的图表，借助POTLY的服务器，不能存本地

py.sign_in('jammy0528','erYbv2ED1VmGbWglVhHf')

new_bug = Scatter(

x=[1,2,3],

y=[str(len(issues3)),str(len(issues2)),str(len(issues))],

)

close_bug = Scatter(

x=[1,2,3],

y=[str(len(issues6)),str(len(issues5)),str(len(issues4))]

)

data = Data([new_bug,close_bug])

py.plot(data, filename = 'bug-line')

3、通过hightcharts+jupyter生成图表

2C46FA55-FC46-41EC-A40D-8F8A1996F00D.png

6、关于数据可视化，未完待续

后续考虑通过web框架flask将获取到的数据进行web数据可视化