截至到昨天上午,一个比较完善的HTML Parser终于被我炮制成功! 它能够比较干净的过滤出网页标题和正文,我还根据需要按照网页的布局把每个单元格内容用空格分隔开来,这样就便于我进行下一步工作了!(昨天下午被女朋友拉去过儿童节,也算是对我最近两天工作的小小祝贺吧!)
下一步的工作该怎么做? 先构建一个Spider去抓取网站内容,还是先看看机构名识别把已经Parse过的网页内容处理一下? 抓取指定网站网页并不难,甚至也可以先不考虑Spider的爬行效率,但要考虑的是抓取的内容是不是招聘信息网页! 机构名识别方面肯定要借助于已经Parser过的半结构内容,比如"*** 西安华信建筑公司 ***"每个单元格的内容已经被空格分隔开来,所以分词错误方面不用担心,担心的在于怎么确定某个单元格的内容就是机构名<ORG>,是仅仅判断这个单元体末尾有"公司"这个关键字就说是个机构名,还是根据马尔可夫模型概率来计算?
这两天得尽快缕清思路,时不待人,不能无谓的消磨时间!