1、Yahoo 数据集介绍
以yahoo 为例:
@attribute为列名内容,@attribute Label26 {0,1}表示,列名为Label26 ,取值为0或1。列名中包含了对每个对象的属性描述以及多标签内容。Label26表示第26个标签。
@data 为数据内容,{8 1,11 1,....} 表示第8列,取值为1。每一对{}之间的数据,描述一个对象。
2、代码
scipy无法读取稀疏arff文件({}在文件中)。而文件yahoo_arts.arff
在其@data
部分使用稀疏格式。直接读取会报错valueError: could not convert string to float: '{8 1',可采用下述代码替代处理。
import numpy as np
import pandas as pd
def parse_row(line, len_row):
line = line.replace('{', '').replace('}', '')
row = np.zeros(len_row)
for data in line.split(','):
index, value = data.split()
row[int(index)] = float(value)
return row
def read_data_arff(filename):
# Step 1. Read data by row.
with open(filename, 'r') as fp:
file_content = fp.readlines()
# Step 2. Get the columns.
columns = []
len_attr = len('@attribute')
for line in file_content:
if line.startswith('@attribute '):
col_name = line[len_attr:].split()[0]
columns.append(col_name)
# Step 3. Get the rows.
rows = []
len_row = len(columns)
for line in file_content:
if line.startswith('{'):
rows.append(parse_row(line, len_row))
# Step 4. Return the results.
df = pd.DataFrame(data=rows, columns=columns)
return df