网页数据抓取并分析

原创 2007年09月11日 17:57:00

项目需求
1、抓取网页数据,分析网页数据中的[下一页]的网址,继续抓取数据,直到把所有需要的网页全部下载完毕;
2、对上一部抓取下来的数据进行分析,保存为需要的Xml格式文件,供相关程序使用。

技术分析
使用C#作为开发工具,用WebRequest、WebResponse获取网页数据,用正则表达式分析数据,生成XML文件保存到指定目录。
该程序应主要有两点:
一、抓取网页数据,保存文件到指定目录
用WebRequest、WebResponse获取网页数据,用StreamWriter将数据写入文件。
获取网页中相关链接,重复获取网页数据。
二、分析数据,生成XML文件
读取第一步生成的文件,用正则分析数据,构造XML文件,保存到本地目录。

问题讨论

如果网页需要用户登录才能访问,如何实现自动登录?

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

抓取Web网页数据分析

Posted on 2006-05-24 14:04 北极燕鸥 阅读(9793) 评论(42) 编辑 收藏 所属分类: C#编程   通过程序自动的读取其它网站网页显示的信息,类似于爬虫程序。比方说...

抓取Web网页数据分析

通过程序自动的读取其它网站网页显示的信息,类似于爬虫程序。比方说我们有一个系统,要提取BaiDu网站上歌曲搜索排名。分析系统在根据得到的数据进行数据分析。为业务提供参考数据。   为了完成以上的需求...

C#抓取网页数据、分析并且去除HTML标签

首先将网页内容整个抓取下来,数据放在byte[]中(网络上传输时形式是byte),进一步转化为String,以便于对其操作,实例如下: private static string GetPage...

运用正则抓取网页数据

  • 2015-08-11 11:44
  • 28KB
  • 下载

一次遍历网页抓取数据经历

任务:将杭电ACM系统中所有的试题id,

Http,Jsoup-网页数据抓取

  • 2015-05-25 18:57
  • 3.58MB
  • 下载

java网页抓取数据

  • 2014-05-11 23:41
  • 1.38MB
  • 下载

php cURL库(抓取网页,post数据及其他)

cURL库的几个使用方法。 获取网页内容 获取网页内容以及取一个XML文件并把其导入数据库等。   启用cURL设置 php.ini文件 extension=php_curl.dll e...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)