忙了好几天了,把shell编程、网络编程、多线程、多进程、Linux下的C语言、vim、Python,拼在一块,终于做成了一个基本的智能工厂。
主要的功能以及流程:下载网页、网页过滤(两个步骤可以合并),自己写了个分布式的分词架构,见之前的描述,主要是中心服务器、分词服务器和客户端之间通信、传递数据,用脚本合并分词文件,交给python处理生成CRF合格的测试语聊,用训练的model,验证,刚才看了了一下,正确率为:98.34%(total: 1242028 ,success: 1221436 ,accur:0.9834)。
存在的问题:网页下载的问题(wikipedia的限制),网页净化(那些js,css真是很难去除),测试语料的生成不太规范(较为粗放),耦合性还需要进一步提高,明天写文档,继续优化~~