c# 初学写爬虫程序遇到的坑

最新推荐文章于 2024-08-26 20:09:41 发布

dark_tone

最新推荐文章于 2024-08-26 20:09:41 发布

阅读量569

点赞数

分类专栏：微软 c#

本文链接：https://blog.csdn.net/dark_tone/article/details/100058879

版权

从Python转到C#写爬虫，作者经历了重重困难。C#的HttpClient库选择、完整的Header设置、乱码处理、异步问题以及在WPF中的运行错误，每个环节都带来挑战。最终，通过努力解决了所有问题，虽然代码量增加，但程序稳定性与速度得到提升，且生成的可执行文件大小显著减小。

摘要由CSDN通过智能技术生成

最初用python写爬虫，很方便快捷，但缺点是编译出来的exe过大，又使用了pygame做界面，最后的程序代码差不多200M.

于是准备换一种语言，初学c#尝试写爬虫。难度比起python不可同日而语，最关键的是网上的资料较少，而且挺过时。
全靠自己磕磕碰碰摸索着，整个改写花费了12个小时，终于成功完成。
代码量比起python大约提高了100%。
python是110行，c#用了210行完成同样功能，带注释。

首先是大的分类，c#自带的类库有三种可用，一是最古老的httpreques，方法特别多，细节也多。
二是webclient，比起原始类库要高级不少。
三是httpclient，相对比较新，支持异步模式。
我最后选择了httpclient

第一个大坑，需求是post一个网站，爬取数据，用python只需要填写header和formdata，header部分填写user agent和Referer即可，但是用httpclient post，无论怎么都无法返回正确结果，反复尝试，最后发现必须把整个header写全。包括User-Agent，ContentType，Accept-Encoding，Accept-Language，Referer等等。
第二个大坑，前面的问题解决，能返回值了，但是返回值是乱码，查询

//必须使用如下方式，否则返回值会乱码
            HttpClient client = new HttpClient(new

关注

专栏目录