机器学习:概念学习FIND-S算法C++实现

一、概念

概念学习：是指从有关某个布尔函数的输入输出训练样例中推断出该布尔函数。

二、概念学习任务

任何概念学习任务能被描述为：实例的集合X、实例集合上的目标函数c、候选假设的集合H以及训练样例的集合D。

例：目标概念：“Aldo进行水上运动的日子”

目标概念EnjoySport的正例和反例

Example	Sky	AirTemp	humidity	Wind	Water	Forecast	EnjoySport
1	Sunny	Warm	Normal	Strong	Warm	Same	Yes
2	Sunny	Warm	High	Strong	Warm	Same	Yes
3	Rainy	Cold	High	Strong	Warm	Change	No
4	Sunny	Warm	High	Strong	Cool	Change	Yes

已知：

　　实例集X：可能的日子，每个日子由下面的属性描述：

　　　　sky:(可取值 sunny,Cloudy和Rainy)

　　　　AirTemp:(可取值为Warm和Cold)

　　　　Humidity:(可取值为Normal和High)

　　　　Wind:(可取值为：Strong和Weak)

　　　　Water：(可取值为Warm和Cold)

　　　　Forecast:(可取值为Same和Change)

　　假设集H：每个假设描述为6个属性：Sky,AirTemp,Humidity,Wind,Water和Forecast的值约束的合取。约束可以为“？”（表示接受任意值），“ø”（表示拒绝所有值），或一特定值

　　目标概念C:EnjoySport: X->{0,1}

　　训练样例集D：目标函数的正例和反例

求解：

　　H中的一假设h，使对于X中任意x，h(x)=c(x)

 1.术语定义

实例集（X）:概念定义的实例集合

目标概念（c）：待学习概念或函数

训练样例（D）:每个样例为X中的一个实例x以及它的目标概念值c(x)。c(x)=1的实例被称为正例（positive example），c(x)=0的实例为反例（negative example），经常用序偶<x,c(x)>来描述训练样例。

H表示所有可能假设的集合。H中每个假设H表示X上定义的布尔函数，即h:X->{0,1}。机器学习的目标就是寻找一个假设h，使对于X中的所有x，h(x)=c(x)。

归纳学习假设：任一假设如果在足够大的训练样例集中很好地逼近目标函数，它也能在未见实例中很好地逼近目标函数。

 2.作为搜索的概念学习

定义：令h_j和h_k为在X上定义的布尔函数。称h_j more_general_than_or_equal_to h_k（记做h_j≥_g h_k）_，当且仅当(∨x∈X)[(h_k(x)=1)->(h_j(x)=1)]

h_j more_specific_than h_k ，当h_k more_general_than h_j

3.FIND-S：寻找极大特殊假设

从H中最特殊假设开始，然后在该假设覆盖正例失败时将其一般化（当一假设能正确地划分一个正例时，称该假设“覆盖”该正例）。

                                        FIND-S算法

　　　1. 将h初始化为H中最特殊假设

　　　2.对每个正例x

　　　　对h的每个属性约束a_i

　　　　   如果x满足a_i

　　　　   那么不做任何处理

　　　　   否则将h中a_i替换为x满足的下一个更一般的约束

　　   3. 输出假设h

#include<iostream>
#include<string>
using namespace std;
string Concept[6];
void Find_S(string TestState[][7],int m,int n)
{
	for(int i=0;i<n-1;i++)
	{
		Concept[i]=TestState[0][i];
	}
	for(int i=1;i<m;i++)
	{
		if(TestState[i][n-1].compare("Yes")==0)
		{
			for(int j=0;j<n-1;j++)
			{
				if(Concept[j].compare(TestState[i][j]))
				{
					Concept[j]="?";
				}
			}
		}
	}
}
int main()
{
	string TestState[4][7]={{"Sunny","Warm","Normal","Strong","Warm","Same","Yes"},{"Sunny","Warm","High","Strong","Warm","Same","Yes"},
	{"Rainy","Cold","High","Strong","Warm","Change","No"},{"Sunny","Warm","High","Strong","Cool","Change","Yes"}};
	Find_S(TestState,4,7);
	cout<<"<";
	int i;
	for(i=0;i<5;i++)
	{
		cout<<Concept[i]<<',';
	}
	cout<<Concept[i]<<">"<<endl;
	system("pause");
	return 0;
}