这几天试着写了点程序,用于对特定网站的网页数据抓取。
有些网站可能不够规范,xml的解析工具有问题,所以就自己写了一个。好处是根据需要的进行处理,应该速度快,缺点是需要经常完善。
后续完善:1、如何生成关键字。2、不同网站抓取数据的排重问题。
有经验的人欢迎交流。
这几天试着写了点程序,用于对特定网站的网页数据抓取。
有些网站可能不够规范,xml的解析工具有问题,所以就自己写了一个。好处是根据需要的进行处理,应该速度快,缺点是需要经常完善。
后续完善:1、如何生成关键字。2、不同网站抓取数据的排重问题。
有经验的人欢迎交流。