使用Python实现ID3决策树中特征选择的先后顺序，2024年最新Python面试必问的HashMap

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Python全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Python知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024c （备注Python）

正文

for one in pri_data:

hair.append(one[0])

voice.append(one[1])

sex.append(one[2])

一维列表合并成二维列表

k = list(zip(hair, sex))

long_man =k.count((‘长’,‘男’))

long_woman = k.count((‘长’,‘女’))

sum_hair1 = long_man + long_woman

short_man = k.count((‘短’,‘男’))

short_woman = k.count((‘短’,‘女’))

sum_hair2 = short_man + short_woman

sum_Hair = sum_hair1 + sum_hair2

return long_man, long_woman, sum_hair1,sum_hair2,sum_Hair,short_man,short_woman

用声音作为优先选择特征求信息增益

def xxx1(cu_voice,thin_voice,cu_woman,cu_man,num_v_h):

voice_num=cu_voice+thin_voice

A = -cu_voive/voice_num * (cu_woman/num_v_h) * np.log2(cu_woman/num_v_h) - \

cu_voive/voice_num * (cu_man/num_v_h) * np.log2(cu_man/num_v_h)

sum_v = getData(pri_data) - A

return sum_v

用头发作为优先选择特征求信息增益

def xxx2(long_man, long_woman, sum_hair,sum_hair2,sum_Hair,short_man,short_woman):

B = -sum_hair/sum_Hair* (long_man/sum_hair) * np.log2(long_man/sum_hair) - \

sum_hair/sum_Hair * (long_woman/sum_hair) * np.log2(long_woman/sum_hair) - sum_hair2/sum_Hair * (short_man/sum_hair2) * np.log2(short_man/sum_hair2)\

• sum_hair2/sum_Hair* (short_woman/sum_hair2) * np.log2(short_woman/sum_hair2)

sum_h = getData(pri_data) - B

return sum_h

if name == “main”:

pri_data = [[‘长’, ‘粗’, ‘男’], [‘短’, ‘粗’, ‘男’], [‘短’, ‘粗’, ‘男’],

[‘长’, ‘细’, ‘女’], [‘短’, ‘细’, ‘女’], [‘短’, ‘粗’, ‘女’],

[‘长’, ‘粗’, ‘女’], [‘长’, ‘粗’, ‘女’]]

total_shang=getData(pri_data)

cu_voive, thin_voice, cu_woman, cu_man, num_v_h=empty1(pri_data)

sum1 = xxx1(cu_voive, thin_voice, cu_woman, cu_man, num_v_h)

print(‘用声音作为优先选择特征求信息增益:’,sum1)

long_man, long_woman, sum_hair1, sum_hair2, sum_Hair, short_man, short_woman=empty2(pri_data)

sum2 = xxx2(long_man, long_woman, sum_hair1, sum_hair2, sum_Hair, short_man, short_woman)

print(‘用头发作为优先选择特征求信息增益:’,sum2)

if sum1 > sum2:

print(“用声音作为优先选择特征求信息增益大”)

else:

print(“用头发作为优先选择特征求信息增益大”)

截图：

四、实验内容

（1）案例描述：通过天气、温度、湿度、是否有风4个特征来决策是否打球。使用Python实现求出其信息增益，并得出哪个特征优先被选择（注：数据处理使用程序计算，数据见data.xls）。

数据集如下：

代码：

import xlrd

import numpy as np

workbook=xlrd.open_workbook(“data.xls”)

sheet=workbook.sheet_by_name(“Sheet1”)

row_count=sheet.nrows

col_count=sheet.ncols

data_list=[]

for i in range(1,row_count):

data_list.append(sheet.row_values(i))

play_golf_number=0

no_play_golf_number=0

total_count=0

for i in data_list:

if i[col_count-1]==“Yes”:

play_golf_number+=1

else:

no_play_golf_number+=1

total_count+=1

a=play_golf_number/total_count

#求出总熵

total_shang=-(a)*np.log2(a)-(1-a)*np.log2(1-a)

print(total_shang)

#求出各分熵，开始判别第一特征

#1.根据天气

b=(5/14)*((-2/5)*np.log2(2/5)-(3/5)np.log2(3/5))+(5/14)((-2/5)*np.log2(2/5)-(3/5)*np.log2(3/5))

#2.根据温度

c=(4/14)*((-1/2)*np.log2(1/2)-(1/2)np.log2(1/2))+(4/14)((-3/4)*np.log2(3/4)-(1/4)np.log2(1/4))+(6/14)((-2/3)*np.log2(2/3)-(1/3)*np.log2(1/3))

#3.根据湿度

d=(7/14)*((-3/7)*np.log2(3/7)-(4/7)np.log2(4/7))+(7/14)((-6/7)*np.log2(6/7)-(1/7)*np.log2(1/7))

#4.根据风力

e=(8/14)*((-6/8)*np.log2(6/8)-(2/8)np.log2(2/8))+(6/14)((-1/2)*np.log2(1/2)-(1/2)*np.log2(1/2))

y1=1-b

y2=1-c

y3=1-d

y4=1-e

shang_list1=[y1, y2, y3, y4]

first_feature=min(shang_list1)

if y1==first_feature:

print(“天气是第一特征”)

if y2 == first_feature:

print(“温度是第一特征”)

if y3==first_feature:

print(“湿度是第一特征”)

if y4==first_feature:

print(“风力是第一特征”)

#开始判别第二特征

#1.根据天气

f=(5/14)*((-2/5)*np.log2(2/5)-(3/5)np.log2(3/5))+(5/14)((-2/5)*np.log2(2/5)-(3/5)*np.log2(3/5))

#2.根据湿度

g=(7/14)*((-3/7)*np.log2(3/7)-(4/7)np.log2(4/7))+(7/14)((-6/7)*np.log2(6/7)-(1/7)*np.log2(1/7))

#3.根据风力

h=(8/14)*((-6/8)*np.log2(6/8)-(2/8)np.log2(2/8))+(6/14)((-1/2)*np.log2(1/2)-(1/2)*np.log2(1/2))

y5=1-f

y6=1-g

y7=1-h

shang_list2=[y5,y6,y7]

second_feature=min(shang_list2)

if y5==second_feature:

print(“天气是第二特征”)

if y6==second_feature:

print(“湿度是第二特征”)

if y7==second_feature:

print(“风力是第二特征”)

#开始判别第三特征

#1.根据天气

i=(3/11)*((-1/3)*np.log2(1/3)-(2/3)np.log2(2/3))+(4/11)((-1/2)*np.log2(1/2)-(1/2)*np.log2(1/2))

#2.根据湿度

j=(6/11)*((-1/2)*np.log2(1/2)-(1/2)np.log2(1/2))+(5/11)((-4/5)*np.log2(4/5)-(1/5)*np.log2(1/5))

y8=1-i

y9=1-j

shang_list3=[y8,y9]

third_feature=min(shang_list3)

if y8==third_feature:

print(“天气是第三特征”)

if y9==third_feature:

print(“湿度是第三特征”)
print(“天气是第四特征”)

现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。

分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024c （备注python）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
n/img_convert/21b2604bd33c4b6713f686ddd3fe5aff.png)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024c （备注python）
[外链图片转存中…(img-zU4oUJrj-1713463390340)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！