测试和训练文本:
文本编号 词列表(以空格分隔) 公众"感动"的概率
训练文本1 消防员 冲进 火场 救出 男童 1
训练文本2 公务员 患 癌症 保持 在岗 0.9
训练文本3 消防员 多次 冲进 火场 救人 不幸 身亡 0.5
训练文本4 老人 成功 进行 免费 白内障 手术 0.5
训练文本5 海豚 误 吞 排球 后 手术 成功 取出 0.4
训练文本6 6旬 老人 跳楼 自杀 身亡 0.1
训练文本7 男子 跳楼 自杀 身亡 0.02
训练文本8 疑犯 枪杀 出租车 司机 0
训练文本9 男子 枪杀 妻子 后 自杀 0
训练文本10 医师 误 把 肾脏 当 肝脏 致人 身亡 0
测试文本1 癌症 老人 成功 手术 ?
测试文本2 男子 枪杀 司机 后 喝药 自杀 ?
测试文本3 癌症 医师 保持 手术 清醒 ?
测试文本4 男子 跳楼 自杀 ?
测试文本5 男子 枪杀 老人 后 自杀 ?
测试文本6 消防员 冲进 火场 将 男童 救出 ?
测试文本7 出租车 司机 免费 搭载 老人 ?
测试文本8 男子 误 杀 弟媳 后 自杀 身亡 ?
测试文本9 医师 误 把 患者 肝脏 捅破 致人 身亡 ?
测试文本10 6旬 老人 火场 救人 不幸 身亡 ?
方法:采用欧式距离,找到离测试数据最近的一个训练数据的情感值
#include <iostream>
#include <cstdio>
#include <fstream>
#include <string>
#include <sstream>
#include <cmath>
using namespace std;
string word[20];
string train_word[20][20];
string test_word[20][20];
string feeling[20];
string mlab[60]; //标记不重复词汇列表
int vector[20][60];
int test_vector[20][60];
string answer[20];
int word_split(string str);
void add_to_lab(string mword,int addr);
void train_mode(int len,int addr);
int lab_find(string mword);
void test_mode(int len,int addr);
void test_add_to_lab(string mword,int addr);
void show_vector(int train_num,int test_num);
int get_error(int test_num,int train_num);
void get_result(int test_num,int train_num);
int mlab_size = 0; //标记不重复词汇列表的顺序
int main(){
ifstream in("Dataset_txt format.txt"); //读取文件
string ch;
int mlen = 0,train_num = 0,test_num = 0;
while(!in.eof()) //读取数据集中每行信息
{
getline(in,ch);
mlen = word_split(ch); //记录每行的词汇数
if(word[0] != "文本编号") //训练文本和测试文本的归类
{
size_t flag = word[0].find("训练文本");
if(flag == 0){
for(int i = 0;i < mlen;i ++)
train_word[train_num][i] = word[i];
cout<<"This is a train_text!"<<endl;
feeling[train_num] = word[mlen-1]; //记录情感概率数值
train_mode(mlen,train_num); //添加到词汇列表里面
train_num++;
}
else //当检测到测试文本数据的时候
{
for(int i = 0;i < mlen;i ++)
test_word[test_num][i] = word[i];
cout<<"This is a test_text!"<<endl;
//测试输出结果
test_mode(mlen,test_num);
test_num++;
}
}
}
show_vector(train_num,test_num); //显示vector的值
get_result(test_num,train_num);
for(int i = 0;i < test_num;i ++) //显示测试文本的情感概率值
{
cout<<test_word[i][0]<<": "<<answer[i]<<endl;
}
in.close();
}
//读取数据集并且输出,返回每行的词汇数
int word_split(string str){
istringstream istring;
istring.str(str);
int count = 0;//记录每行词汇的个数
while(!istring.eof()){
istring>>word[count++];
cout<<word[count-1]<<" ";
}
cout<<endl;
return count;
}
void train_mode(int len,int addr) //第addr行的第len个词汇
{
for(int i = 1;i < len - 1;i ++)
{
add_to_lab(word[i],addr);
}
}
//不重复的全部词汇的列表
void add_to_lab(string mword,int addr) //第addr行的特定词汇mword
{
if(mlab_size > 0)
{
int aa = lab_find(mword); //查看词汇列表是否存在该词汇
if(aa == mlab_size)
{
mlab[mlab_size ++] = mword;
vector[addr][mlab_size-1] = 1;
}
else
vector[addr][aa] = 1;
//cout<<mword<<" "<<aa<<endl;
}
else
{
mlab[mlab_size ++] = mword;
vector[addr][mlab_size-1] = 1;
}
}
//在lab数组中是否存在mword
int lab_find(string mword)
{
int i = 0;
for(i = 0;i < mlab_size;i ++)
{
if(mlab[i] == mword)
return i;
}
return i;
}
void test_mode(int len,int addr)
{
for(int i = 1;i < len - 1;i ++)
{
test_add_to_lab(word[i],addr);
}
}
void test_add_to_lab(string mword,int addr)
{
int aa = lab_find(mword);
if(aa == mlab_size)
{
mlab[mlab_size ++] = mword;
test_vector[addr][mlab_size-1] = 1; //可要可不要
}
else
test_vector[addr][aa] = 1;
}
void show_vector(int train_num,int test_num)
{
cout<<endl;
cout<<"总词汇个数:"<<mlab_size<<endl;
for(int i = 0;i < mlab_size;i ++)
{
cout<<mlab[i]<<" ";
}
cout<<endl;
cout<<"train_num "<<train_num<<endl;
for(int i = 0;i < train_num;i ++)
{
for(int j = 0;j < mlab_size;j ++)
cout<<vector[i][j]<<" ";
cout<<endl;
}
cout<<"test_num "<<test_num<<endl;
for(int i = 0;i < test_num;i ++)
{
for(int j = 0;j < mlab_size;j ++)
cout<<test_vector[i][j]<<" ";
cout<<endl;
}
}
//找到欧式距离最小的训练样本
void get_result(int test_num,int train_num)
{
for(int i = 0;i < test_num;i ++)
{
double min = 100,mid;
int index = 0;
for(int j = 0;j < train_num;j ++)
{
mid = get_error(i,j);
if(sqrt(mid) < min)
{
min = sqrt(mid);
index = j;
}
}
answer[i] = feeling[index];
}
}
int get_error(int test_num,int train_num) //找到test_num和train_num的距离的平方
{
int sum = 0;
for(int i = 0;i < mlab_size;i ++)
{
if(vector[train_num][i] != test_vector[test_num][i])
sum ++;
}
return sum;
}