taokunhe的专栏

原创 网页结构化数据抓取

结构化数据抓取的要求：1、支持对表格数据的抓取，并且定义抓取规则简单2、支持对分页数据抓取3、支持对数据有效性的验证，并能定义默认值4、支持对数据的排重5、支持对代码字典表的映射 基于上述要求开发了一款基于XPath和正则表达式的结构化数据抓取软件优点：1.       基于XPath搜索定位。使用XPath强大的语法定义，可以使用方便简单的语句即可在网页中定位