caffe保存训练输出到log 并绘制accuracy loss曲线

参考以下网页：

http://blog.csdn.net/u012746763/article/details/51823974

http://blog.csdn.net/Running_J/article/details/51505715

def load_data(data_file, field_idx0, field_idx1):
    data = [[], []]
    with open(data_file, 'r') as f:
        num=len(f)
        for line_num in range(1,num): 
            line = f[line_num].strip()
            #if line[0] != '#':
            fields = line.split(',')#此处修改 （分隔符用逗号隔开）
            data[0].append(float(fields[field_idx0].strip()))
            data[1].append(float(fields[field_idx1].strip()))
    return data

支持的多log和图表的类型

1. Notes:  
2.     1. Supporting multiple logs.  
3.     2. Log file name must end with the lower-cased ".log".  
4. Supported chart types:  
5.     0: Test accuracy  vs. Iters  
6.     1: Test accuracy  vs. Seconds  
7.     2: Test loss  vs. Iters  
8.     3: Test loss  vs. Seconds  
9.     4: Train learning rate  vs. Iters  
10.     5: Train learning rate  vs. Seconds  
11.     6: Train loss  vs. Iters  
12.     7: Train loss  vs. Seconds  

看上去很简单，但折腾了大半天，因为lr是multistep,中间变化了两次，因此读的时候多读了两次迭代的次数，所以就和后面的loss和accuracy这些对应不上，因此需要在parse_log.sh中增加一行代码，

sed -i '/Iteration .* step/d' aux.txt

这样最后生成的log-data.train 和 log-data.test就对应上了。

也可以不使用parse_log.sh文件生成上面的两个文件，先使用parse_log.py生成两个文件，这里不会出现不一致现象，但是需要在 plot_training_log.py.example中修改一些内容：

修改32-33行：

                  test_key:{'Iters':0, 'Seconds':1, test_key + ' accuracy':3,
                             test_key + ' loss':4}}

修改115行为：

                 ## os.system('%s %s' % (get_log_parsing_script(), path_to_log)) （这条语句是调用parse_log.sh文件的）