.net爬虫获取post数据

最新推荐文章于 2024-08-04 15:47:35 发布
最新推荐文章于 2024-08-04 15:47:35 发布
阅读量906 收藏 1
点赞数
分类专栏： C# 文章标签： .net 爬虫 异步
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/y1535623813/article/details/82661167
版权
本文介绍了如何使用Fiddler抓取HTTP头信息，并详细解释了如何将这些信息应用于.NET的HttpRequest中，以实现爬虫对POST数据的获取。在WinForm中，通过WebBrowser控件也能获取网页内容。
摘要由CSDN通过智能技术生成

 

用Fiddler抓下请求的信息，在http头里面会看到下面的数据：
Accept: */*
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN
User-Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)
然后照单填进HttpRequest里就行了：

 

MyHttpWebRequest.Accept = "*/*";
MyHttpWebRequest.Headers.Add(HttpRequestHeader.AcceptEncoding, "gzip, deflate");
MyHttpWebRequest.Headers.Add(HttpRequestHeader.AcceptLanguage, "zh-CN");
MyHttpWebRequest.UserAgent = "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)";

 

WinForm里有一个WebBrowse控件可以获取网页内容

WebBrowser webBrowser = new WebBrowser();

Uri url = 

最低0.47元/天 解锁文章
我笔记
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
asp.net获取Post和Get数据的方法
wygyhm的专栏
04-22 1万+
一、获得Post数据的方法C# code（Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/） protected void Page_Load(object sender, EventArgs e){Response.Write(Ge
ASP.NET Core 各版本 中间件或过滤器中获取Post参数方法
最数据的专栏
09-09 4606
2、当在动作过滤器（ActionFilter）或者需要多次读取 request.body 的时候，.net core 可以通过调用request.EnableRewind()实现，可以重置读取位置 ，但是在过滤器中使用此方法时出现异常，request.body的长度总是为0，说明在请求到达过滤器时Steam已经被读取了。1、权限（AuthorizationFilters）验证器中读取并只读取有一次请求串的方法。项目中，框架为.NET5，启动倒带方式,为。3、在任意想要读取的位置重复读取。
分享一些 C#语言程序员的学习资源
最新发布
Code365
08-04 575
《C# 5.0 Unleashed》：对特定技术主题的各方面提供全面详尽解释，透彻分析企业 C#开发人员面临的挑战，适合 C#新手程序员（具备其他语言经验）或需要进行平台开发（如移动平台、Web 和桌面）的人员，有多种格式方便阅读，开头以诙谐有趣的方式讲述了.NET 平台的历史，并提供了各版本差异概述等实用工具。- edx：提供名为“programming with c#”的高级课程，需对循环、程序流和数据库等编程概念有所了解，课程涵盖 C#语法、.NET 编程与框架概念、C#面向对象设计等不同主题。
国庆长假游玩人次达6.37亿人次，这么多人都到哪儿去玩了呢？
Python案例分享，B站视频教程：https://space.bilibili.com/523606542
10-15 289
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 以下文章来源于Python技术 ，作者派森酱 前言 2020 注定是不平凡的一年，一开年就被新冠疫情来了当头一棒，一瞬间大家都不约而同的采取家里蹲策略，在政府的得力领导下，全部人民上下一条心，到了四五月份终于将疫情稳定控制住了，时隔半年，国内疫情早已趋于稳定，人们的生活也基本恢复正常。 恰逢国庆中秋两个节日重合，在家憋这么久的人们怎么能不出去看看祖国的大好河山。据新华网消息，整个国庆
C# 处理gzip格式的json
一只不知疲倦的学习猿
08-19 464
看代码中对response的处理即可， public class GetParam { public GetParam(string key, string value) { this.key = key; this.value = value; } public string key { get; set; } public string value { get; set; } } // Get请求，返回json格式字符串 // <param name="userCode"&
.net获取传值get和post请求
tianyitianyi1的专栏
01-05 6996
//post请求   string name = Request["name"].toString();   string name   =Request.Form.Get("name").toString();     //get请求   string name = Request.QueryString["name"].toString();   但我发
爬虫爬取get/post等请求的数据
qq_38113432的博客
05-14 5118
(此文章认为大家有一定基础而作)一.请求地址       基于restful编程风格的崛起，不管是前端还是后端，大家应该对请求地址都不陌生。       一般大家获取页面请求地址可以直接用浏览器的开发者模式获取，如下面我用chrome截获本篇文章保存的请求地址:选择开发者模式-&gt;Network;左边表示我们请求的网页，右边是具体参数；二、请求参数在General模块可以清楚的看到我们请求的地...
nsoup（.net 爬虫dll）
10-16
**NSoup：.NET爬虫库的解析与应用** 标题中的"nsoup"是一个专为.NET平台设计的爬虫库，灵感来源于Java的Jsoup库。这个DLL包旨在为.NET开发者提供一个强大的工具，用于抓取和解析HTML文档，就像Java开发者使用Jsoup...
Pytho爬虫 获取数据以及存储数据
Shinersmile的博客
12-23 833
Python 获取数据
C#爬虫获取网页中表格数据
06-20
C#爬虫获取网页中表格数据 在本文中，我们将介绍如何使用C#语言来爬取网页中的表格数据。爬虫技术可以帮助我们快速地获取网络上的信息，从而满足我们的需求。 爬虫概述 爬虫是指一种自动化的程序，可以模拟用户的...
.Net网络爬虫
04-10
.Net网络爬虫，封装工具类，有需要的可以下载看一下
asp.net 从POST的数据流中提取参数和文件
10-29
按理，Form提交的数据，无论是application/x-www-form-urlencoded还是multipart/form-data(有附件时)，都可在服务端通过Request.Form["name"]和Request.Files["name"]获取到参数和上传的文件。
net c# 网络爬虫源码 --- 爬取全国小区信息并保存到数据库，58同城等各大网站爬取
09-12
个人手写的爬虫工具。爬取全国小区信息并保存到数据库中；爬取58同城等各大网站小区信息。欢迎大家使用。
Asp.net数据抓取
04-17
Asp.net数据抓取，根据关键字可以抓取新浪、百度贴吧、搜狗三种网站的信息，若需要抓取其他网站的信息可二次开发，可扩展。
asp.net抓取网页上的数据并且进行插入操作
10-24
http://www.gaokao.com/e/20120109/4f0a8e1773aa0.shtml http://www.gaokao.com/e/20120109/4f0a914934baa_2.shtml 针对上面的两网址中table中的数据的提取（即：排行榜数据的提取）
.net爬虫集合(5个项目)、多包括多线程爬虫，图片爬虫
07-13
.NET 爬虫集合是一个包含五个项目的...总的来说，这个.NET爬虫集合项目包为学习和实践网络爬虫提供了丰富的素材，涵盖了从基础的HTTP请求到复杂的多线程和图片抓取等多种技术，是.NET开发者提升爬虫技能的理想资源。
.net新手爬虫教学，简单易懂。
weixin_30859423的博客
07-26 132
这两天没事研究爬虫，发现了好多处理方法，但是我用着最顺手的是Nsoup这个包。 下面给大家分享一下我在亚马逊上爬取的数据。我是用的webForm写的，用winForm是一样的。今天给打加分享一下我写的代码。希望得到打什么的指点。 System.Net.CookieContainer testcookie = new System.Net.CookieContainer(); ...
.net 爬虫
chinaperson2014的博客
11-09 139
.net中加载链接并获取返回内容，返回到doc节点中 HtmlWeb webClient = new HtmlWeb(); HtmlDocument doc = webClient.Load(link); .net中创建doc节点加载返回内容 HtmlDocument doc = new Ht...
.net 爬虫怎么写
08-22
### 回答1： 可以使用 .NET 框架中的 ...在编写.NET爬虫时，还可以利用第三方库如HtmlAgilityPack或HttpClient来简化开发过程。此外，还可以使用多线程或任务并行库如Task Parallel Library来提高爬虫的效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我笔记

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值