数据预处理（读取txt文件的数据、去除（含有）NAN所在行/列）

1、读取txt文件的两种方法

(1) numpy的loadtxt()函数

这个函数要求txt中都是数值，不能有字符，且返回的data的数据类型是numpy.ndarray。
我的txt数据是每行一个数，有n列，所以参数delimiter='\n'。

import numpy as np
path = r"C:\123456\test.txt"

def LoadTxtData(filename):
	data = np.loadtxt(filename, dtype=np.float32, delimiter='\n')
    return data

mydata = LoadTxtData(path)
print(type(mydata)) #看一下什么类型，便于后续进行其他处理
print(mydata)

（2） pandas的read_table()函数

这个函数不要求txt中全是数值，返回的data类型是DataFrame。

import pandas as pd
path = r"C:\123456\test.txt"

def LoadTxtTestData(filename):
    data = pd.read_table(filename,header=None, sep='\n')
    return data
    
mydata = LoadTxtTestData(path)
print(type(mydata)) #看一下什么类型，便于后续进行其他处理
print(mydata)

2、删除DataFrame中NAN所在行/列

删除表中全部为NAN的行：

df.dropna(axis=0, how='all')

删除表中含有NAN的行：

df.dropna(axis=0, how='any')

删除表中全部为NAN的列：

df.dropna(axis=1, how='all')

删除表中含有NAN的列：

df.dropna(axis=1, how='any')