机器学习:概念学习FIND-S算法C++实现

一、概念

概念学习：是指从有关某个布尔函数的输入输出训练样例中推断出该布尔函数。

二、概念学习任务

任何概念学习任务能被描述为：实例的集合X、实例集合上的目标函数c、候选假设的集合H以及训练样例的集合D。

例：目标概念：“Aldo进行水上运动的日子”

 

目标概念EnjoySport的正例和反例

Example	Sky	AirTemp	humidity	Wind	Water	Forecast	EnjoySport
1	Sunny	Warm	Normal	Strong	Warm	Same	Yes
2	Sunny	Warm	High	Strong	Warm	Same	Yes
3	Rainy	Cold	High	Strong	Warm	Change	No
4	Sunny	Warm	High	Strong	Cool	Change	Yes

 

已知：

　　实例集X：可能的日子，每个日子由下面的属性描述：

　　　　sky:(可取值 sunny,Cloudy和Rainy)

　　　　AirTemp:(可取值为Warm和Cold)

　　　　Humidity:(可取值为Normal和High)

　　　　Wind:(可取值为：Strong和Weak)

　　　　Water：(可取值为Warm和Cold)

　　　　Forecast:(可取值为Same和Change)

　　假设集H：每个假设描述为6个属性：Sky,AirTemp,Humidity,Wind,Water和Forecast的值约束的合取。约束可以为“？”（表示接受任意值），“ø”（表示拒绝所有值），或一特定值

　　目标概念C:EnjoySport: X->{0,1}

　　训练样例集D：目标函数的正例和反例

求解：

　　H中的一假设h，使对于X中任意x，h(x)=c(x)

 1.术语定义

实例集（X）:概念定义的实例集合

目标概念（c）：待学习概念或函数

训练样例（D）:每个样例为X中的一个实例x以及它的目标概念值c(x)。c(x)=1的实例被称为正例（positive example），c(x)=0的实例为反例（negative example），经常用序偶<x,c(x)>来描述训练样例。

H表示所有可能假设的集合。H中每个假设H表示X上定义的布尔函数，即h:X->{0,1}。机器学习的目标就是寻找一个假设h，使对于X中的所有x，h(x)=c(x)。

归纳学习假设：任一假设如果在足够大的训练样例集中很好地逼近目标函数，它也能在未见实例中很好地逼近目标函数。

 2.作为搜索的概念学习

定义：令hj和hk为在X上定义的布尔函数。称hj more_general_than_or_equal_to hk（记做hj≥g hk），当且仅当(∨x∈X)[(hk(x)=1)->(hj(x)=1)]

hj more_specific_than hk ，当hk more_general_than hj

3.FIND-S：寻找极大特殊假设

从H中最特殊假设开始，然后在该假设覆盖正例失败时将其一般化（当一假设能正确地划分一个正例时，称该假设“覆盖”该正例）。

                                        FIND-S算法

　　　1. 将h初始化为H中最特殊假设

　　　2.对每个正例x

　　　　对h的每个属性约束ai

　　　　   如果x满足ai

　　　　   那么不做任何处理

　　　　   否则将h中ai替换为x满足的下一个更一般的约束

　　   3. 输出假设h

 

1.  

   #include<iostream>
   #include<string>
   using namespace std;
   string Concept[6];
   void Find_S(string TestState[][7],int m,int n)
   {
   	for(int i=0;i<n-1;i++)
   	{
   		Concept[i]=TestState[0][i];
   	}
   	for(int i=1;i<m;i++)
   	{
   		if(TestState[i][n-1].compare("Yes")==0)
   		{
   			for(int j=0;j<n-1;j++)
   			{
   				if(Concept[j].compare(TestState[i][j]))
   				{
   					Concept[j]="?";
   				}
   			}
   		}
   	}
   }
   int main()
   {
   	string TestState[4][7]={{"Sunny","Warm","Normal","Strong","Warm","Same","Yes"},{"Sunny","Warm","High","Strong","Warm","Same","Yes"},
   	{"Rainy","Cold","High","Strong","Warm","Change","No"},{"Sunny","Warm","High","Strong","Cool","Change","Yes"}};
   	Find_S(TestState,4,7);
   	cout<<"<";
   	int i;
   	for(i=0;i<5;i++)
   	{
   		cout<<Concept[i]<<',';
   	}
   	cout<<Concept[i]<<">"<<endl;
   	system("pause");
   	return 0;
   }