忙碌基本结束

忙了好几天了，把shell编程、网络编程、多线程、多进程、Linux下的C语言、vim、Python，拼在一块，终于做成了一个基本的智能工厂。

主要的功能以及流程：下载网页、网页过滤（两个步骤可以合并），自己写了个分布式的分词架构，见之前的描述，主要是中心服务器、分词服务器和客户端之间通信、传递数据，用脚本合并分词文件，交给python处理生成CRF合格的测试语聊，用训练的model，验证，刚才看了了一下，正确率为：98.34%（total: 1242028 ,success: 1221436 ,accur:0.9834）。

存在的问题：网页下载的问题(wikipedia的限制)，网页净化（那些js,css真是很难去除），测试语料的生成不太规范（较为粗放），耦合性还需要进一步提高，明天写文档，继续优化～～