利用WebClient和WebRequest类获得网页源代码

最新推荐文章于 2021-03-19 15:33:30 发布
最新推荐文章于 2021-03-19 15:33:30 发布
阅读量984 收藏
点赞数
文章标签： textbox button server object stream microsoft

GetPageHtml.aspx

  <%@ Page language="c#" validateRequest = "false" Codebehind="GetPageHtml.aspx.cs" AutoEventWireup="false" Inherits="eMeng.Exam.GetPageHtml" %> <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN" > <HTML> <HEAD> <title>得到网页源代码</title> <meta name="GENERATOR" Content="Microsoft Visual Studio 7.0"> <meta name="CODE_LANGUAGE" Content="C#"> <meta name="vs_defaultClientScript" content="JavaScript"> <meta name="vs_targetSchema" content="http://schemas.microsoft.com/intellisense/ie5"> </HEAD> <body MS_POSITIONING="GridLayout"> <form id="aspNetBuffer" method="post" runat="server"> <div align="center" style="FONT-WEIGHT: bold">得到任意网页源代码</div> <asp:TextBox id="UrlText" runat="server" Width="400px">http://dotnet.aspx.cc/content.aspx </asp:TextBox> <asp:Button id="WebClientButton" Runat="server" Text="用WebClient得到"></asp:Button> <asp:Button id="WebRequestButton" runat="server" Text="用WebRequest得到"></asp:Button> <br> <asp:TextBox id="ContentHtml" runat="server" Width="100%" Height="360px" TextMode="MultiLine"> </asp:TextBox> </form> </body> </HTML> 

 

GetPageHtml.aspx.cs
 

  using System; using System.Collections; using System.ComponentModel; using System.Data; using System.Drawing; using System.Web; using System.Web.SessionState; using System.Web.UI; using System.Web.UI.WebControls; using System.Web.UI.HtmlControls; using System.IO; using System.Net; using System.Text; using System.Text.RegularExpressions; namespace eMeng.Exam { /// <summary> /// GetPageHtml 的摘要说明。 /// </summary> public class GetPageHtml : System.Web.UI.Page { protected System.Web.UI.WebControls.Button WebClientButton; protected System.Web.UI.WebControls.Button WebRequestButton; protected System.Web.UI.WebControls.TextBox ContentHtml; protected System.Web.UI.WebControls.TextBox UrlText; protected System.Web.UI.WebControls.Button GetText; private string PageUrl = ""; private void Page_Load(object sender, System.EventArgs e) {} #region Web Form Designer generated code override protected void OnInit(EventArgs e) { InitializeComponent(); base.OnInit(e); } /// <summary> /// 设计器支持所需的方法 - 不要使用代码编辑器修改 /// 此方法的内容。 /// </summary> private void InitializeComponent() { this.WebClientButton.Click += new System.EventHandler(this.WebClientButton_Click); this.WebRequestButton.Click += new System.EventHandler(this.WebRequestButton_Click); this.GetText.Click += new System.EventHandler(this.GetText_Click); this.Load += new System.EventHandler(this.Page_Load); } #endregion private void WebClientButton_Click(object sender, System.EventArgs e) { PageUrl = UrlText.Text; WebClient wc = new WebClient(); wc.Credentials = CredentialCache.DefaultCredentials; ///方法一： Byte[] pageData = wc.DownloadData(PageUrl); ContentHtml.Text = Encoding.Default.GetString(pageData); /// 方法二： /// ***************代码开始********** /// Stream resStream = wc.OpenRead(PageUrl); /// StreamReader sr = new StreamReader(resStream,System.Text.Encoding.Default); /// ContentHtml.Text = sr.ReadToEnd(); /// resStream.Close(); /// **************代码结束******** /// wc.Dispose(); } private void WebRequestButton_Click(object sender, System.EventArgs e) { PageUrl = UrlText.Text; WebRequest request = WebRequest.Create(PageUrl); WebResponse response = request.GetResponse(); Stream resStream = response.GetResponseStream(); StreamReader sr = new StreamReader(resStream, System.Text.Encoding.Default); ContentHtml.Text = sr.ReadToEnd(); resStream.Close(); sr.Close(); } private void GetText_Click(object sender, System.EventArgs e) { PageUrl = UrlText.Text; WebRequest request = WebRequest.Create(PageUrl); WebResponse response = request.GetResponse(); Stream resStream = response.GetResponseStream(); StreamReader sr = new StreamReader(resStream, System.Text.Encoding.Default); ContentHtml.Text = sr.ReadToEnd(); resStream.Close(); sr.Close(); ContentHtml.Text = Regex.Replace(ContentHtml.Text,"<[^>]*>", ""); //替换空格 ContentHtml.Text = Regex.Replace(ContentHtml.Text,"//s+", " "); } } } 

 

 

 

 

 

 


                

        

        

    

  


    

      

        

            

              
                
                  totoz
                
              
            

            

                关注
              
            

        

        

          
      

      









                



	

		

			

				
					
java webclient_java使用WebClient获取不到重定向的网页信息

				
			

			

				

					weixin_28973855的博客
				

				

					02-16
					
					811
					
				

			

		

		

			
				
就是框框里输入好之后点击下面的按钮然后它会重定向到下面的网站可我的代码获取不到重定向的信息show u codepackage com.cargopm.samoye.service.impl;import com.gargoylesoftware.htmlunit.WebClient;import com.gargoylesoftware.htmlunit.html.*;import org.js...

			
		

	



                

            
              



	

		

			

				
					
C#、.NET网络请求总结（WebClient和WebRequest）

				
			

			

				

					山鹰的专栏
				

				

					11-30
					
					633
					
				

			

		

		

			
				

using System;  
using System.Collections.Generic;  
using System.Text;  
using System.Net;  
using System.Net.Sockets;  
using System.Collections;  
using System.IO;  
using System.Text.RegularExpres...

			
		

	



              


  
              

                


	

		

			

				
					
webClient.getPage爬取csdn页面,卡死

				
			

			

				

					你就像甜甜的益达
				

				

					09-30
					
					1834
					
				

			

		

		

			
				
最近在写一下简单的爬虫,然后使用webClient.getPage的时候,一请求就直接挂掉,很长时间没有反应,让人很头疼,然后去掉js,返回的又是一些看不懂的:
获取列表页的文章列表:
https://blog.csdn.net/qq_38366063/article/list/1
正确的应该是:

这是获取列表页返回错误的:

<html><script>
var arg...

			
		

	





	

		

			

				
					
HTTPclient（4.5.13）请求https网页

				
			

			

				

					qq_37917691的博客
				

				

					03-19
					
					2036
					
				

			

		

		

			
				
本文使用的HTTPclient版本是4.5.13
import java.io.IOException;
import java.security.cert.CertificateException;
import java.security.cert.X509Certificate;
import javax.net.ssl.SSLContext;
import org.apache.hc.client5.http.ClientProtocolException;
import org.apache.hc

			
		

	



		

			
		



	

		

			

				
					
WebClient常用方法

				
			

			

				

					tb_520的博客
				

				

					01-31
					
					9974
					
				

			

		

		

			
				
webClient.getOptions()的各种方法说明int getHistoryPageCacheLimit()             //返回在历史中缓存的最大页数。

    int getHistorySizeLimit()             //返回最大页数保持在历史记录。

    String getHomePage()              //返回客户端当前的主页

			
		

	





	

		

			

				
					
使用HttpClient和WebRequest时POST一个对象的写法

				
			

			

				

					weixin_33895604的博客
				

				

					03-07
					
					67
					
				

			

		

		

			
				
【一】步骤：
1）将对象转化为Json字符串。
2）将Json字符串编码为byte数组。
3）设置传输对象（WebRequest或者HttpClient）的ContentType是"application/json"。
4）设置传输对象的ContentLength=Byte数组的长度。
5）开始传输
6）获取JSON结果：
【二】示例代码：
【对于WebRequest而言】

...

			
		

	





	

		

			

				
					
Silverlight 3 之通信webclient,webrequest,WCF实例源码

				
			

			

				

					07-25
				

			

		

		

			
				
本主题聚焦于Silverlight 3中的通信技术，特别是使用WebClient、WebRequest和WCF（Windows Communication Foundation）的实例源码。这三种通信方式在Silverlight应用程序与服务器之间的数据交换中扮演着关键角色。  ...

			
		

	





	

		

			

				
					
.NET中如何执行命令行命令?

				
			

			

				

					武安候的专栏
				

				

					09-22
					
					1153
					
				

			

		

		

			
				
可以通过Process类和ProcessStartInfo类实现，也可以使用管道等操作，如：> |等。下面就是一个例子System.Diagnostics.Process.Start("CMD.exe","/c net send 192.168.3.6 你今天过的好吗?");System.Diagnostics.Process.Start("cmd.exe", "/c foo.exe -a

			
		

	





	

		

			

				
					
java webclient_Java WebClient 总结

				
			

			

				

					weixin_32389427的博客
				

				

					02-16
					
					1020
					
				

			

		

		

			
				
/**** 自定义的getpage，遇到验证码页面识别直至成功**/privateHtmlPage MyGetPage(StringBuffer URL) {HtmlPage page= null;boolean flag = true;int TryTimeCnt = 1;int UnknowHostTryTimeCnt = 1;while(flag) {flag= false;try{logg...

			
		

	





	

		

			

				
					
WebClient 通过get和post请求api

				
			

			

				

					zhaoqi5705的专栏
				

				

					11-09
					
					8204
					
				

			

		

		

			
				
//get 请求
        string url = string.Format("http://localhost:28450/api/values?str1=a&str2=b");
        WebClient wc = new WebClient();
        Encoding enc = Encoding.GetEncoding("UTF-8");
      

			
		

	





	

		

			

				
					
webClient用法

				
			

			

				

					taizhen/blog
				

				

					09-21
					
					4858
					
				

			

		

		

			
				
今天在网上看到一个问题，问HtmlUnit在多线程环境下怎么使用才能避免网页抓取失败的问题。下面结合自己的使用经验，浅谈该问题的解决办法。

导致这个问题的原因其实蛮简单，举个例子来说，A线程正在使用一个WebClient对象抓取网页，在整个抓取流程结束之前，当前线程被CPU挂起，因此线程B被激活，然后B使用正在被A使用的WebClient对象进行其他网页的抓取工作，那么这时，WebCLien

			
		

	





	

		

			

				
					
C#获取网页源代码的5种方法

				
			

			

				

					07-23
				

			

		

		

			
				
`WebClient` 类提供了下载数据的便捷方法，可以直接获取到网页的源代码。  ```csharp using System.Text; using System.Net;  private string GetHtml(string url) {  WebClient myWebClient = new WebClient();  ...

			
		

	





	

		

			

				
					
Htmlunit之爬取网页

				
			

			

				

					疯狂小羊的博客
				

				

					11-28
					
					4573
					
				

			

		

		

			
				
HtmlUnit 中WebClient个人觉得就像一个浏览器，只要我们在webClient.getPage("网址")输入网址就可以获取到相应的页面，返回的是一个HtmlPage变量，就是页面
//声明一个webClient变量
WebClient webClient = new WebClient();
//获取一个网页
HtmlPage page page = webClient.ge

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值