网页抓取/数据抽取/网络爬虫技术资料汇总

网页抓取和数据抽取技术有很悠久的发展历史，大家通过各种技术手段实现网页内容的采集目的，而且，在每个计算技术发展阶段，大家都在尝试使用更先进的技术和编程语言实现更强大的网站内容采集工具，本文将作为一个总目录，罗列各种实现方法和实践经验，以供参考，随着时间的推移，本文内容不断补充

方法论

• 网页抓取/数据抽取/网络爬虫技术方法

编程

• 使用微软技术实现网站内容抓取和数据抽取
• 使用Java技术实现网站内容抓取和数据抽取
• 使用PHP技术实现网站内容抓取和数据抽取
• 使用Delphi技术实现网站内容抓取和数据抽取
• 使用Python技术实现网站内容抓取和数据抽取
• 使用Flex技术实现网站内容抓取和数据抽取
• 使用Javascript实现网页抓取和数据抽取
• 使用Ruby实现网页抓取和数据抽取

产品和工具

• 使用Java实现的网页内容抓取和数据抽取工具
• 使用Python实现的网页内容抓取和网络爬虫软件工具