数据挖掘十大算法(二)：C4.5算法

理解决策树的基本构造

内部结点(internal node)：表示一个特征或属性，长方形。
叶结点(leaf node)： 表示一个类， 椭圆形。
最上面的节点就是决策树的根节点。

那么怎样选择分叉的特征呢？每一次分叉选择哪个特征对样本进行划分可以最快最准确的对样本分类呢？不同的决策树算法有着不同的特征选择方案。ID3用信息增益，C4.5用信息增益率，CART用gini系数。

让我们看一组实例，贷款申请样本数据表。

年龄：0代表青年，1代表中年，2代表老年；
有工作：0代表否，1代表是；
有自己的房子：0代表否，1代表是；
信贷情况：0代表一般，1代表好，2代表非常好；
类别(是否给贷款)：no代表否，yes代表是

计算信息熵

def creat_data():
	dataSet = [[0, 0, 0, 0, 'no'],  # 数据集
			   [0, 0, 0, 1, 'no'],
			   [0, 1, 0, 1, 'yes'],
			   [0, 1, 1, 0, 'yes'],
			   [0, 0, 0, 0, 'no'],
			   [1, 0, 0, 0, 'no'],
			   [1, 0, 0, 1, 'no'],
			   [1, 1, 1, 1, 'yes'],
			   [1, 0, 1, 2, 'yes'],
			   [1, 0, 1, 2, 'yes'],
			   [2, 0, 1, 2, 'yes'],
			   [2, 0, 1, 1, 'yes'],
			   [2, 1, 0, 1, 'yes'],
			   [2, 1, 0, 2, 'yes']]
	features = ['年龄', '有工作', '有自己的房子', '信贷情况']
	return dataSet, features



def entropy(dataset):
	num_data = len(dataset)
	class_count = {
   }

	for k in dataset:
		label = k[-1]
		class_count[label] = class_count.get(label, 0) + 1

	ent = 0.0
	for key in class_count:
		prob = class_count[key] / float(num_data)
		ent = ent - prob * log(prob, 2)
	return ent

数据集划分以及信息增益计算方法

# 理解（这里返回的new_data的feature比mydata少一个！）
def spliet_dataset(mydata, axis, value):
	new_data = []

	for rows in mydata:
		if rows[axis] == value:
			reduce = rows[:axis]
			reduce.extend(rows[axis+1:])
			new_data.append(reduce)
	return new_data



def choose_best_feature(dataset):
	'''
	理解熵：越大说明越不靠谱！划分之后，平均信息量肯定减少！那个减少的更多，说明这个特征更好。
	:param dataset:
	:return: 返回的是最好的特征的维度
	'''

	num_feature = len</