本文介绍了如何使用C#编程语言来批量爬取网页的HTML内容，并将其保存为本地TXT文档。文章详细讲解了控制台项目的创建、`DownloadHtml`函数的编写（用于发送HTTP请求并判断内容类型），以及`SaveTextFile`函数的实现（用于读取内容并写入TXT文件）。示例中特别提到处理不添加User-Agent导致的错误情况，并展示了豆瓣和百度主页的爬取结果。
上一篇和大家讲了怎么用C#批量下载验证码图片，这一篇和大家讲讲如何用C#将网页上的html内容保存到一个本地txt文档里面
。其实爬虫这个事情，相信大家可能各有各的实现方法，Python讲爬虫的书超级的多，关于C#做爬虫的....好像很少，我看到了一些比较早的用C#制作蜘蛛程序的文章，在这里我按照上一篇的格式写一下比较简单的实现。如有不对，请多指教。
1.C#控制台编程
新建一个C#控制台项目，VS->文件->新建->项目->visual c#->控制台应用程序，项目命名依旧是csharpconsole。先加入三个命名空间Net 、Web和IO，如下图所示（跟上一篇一毛一样哈哈，不过我就是分两篇博客写）。
2.编写DownloadHtml函数
这个函数的作用呢就是发送http请求，判断页面的内容类型是不是文本文件，如果是文本文件呢，就在SaveTextFile函数中把内容读取保存到本地。
public static bool DownloadHtml(string htmlUrl, string savePath)
{
bool v
最低0.47元/天 解锁文章
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
