获得目标网页的内容

转载 2006年06月09日 16:11:00

在网上看到一个例子:

WebClient webRemote = new WebClient();
string s = Encoding.Default.GetString(webRemote.DownloadData(url));
看起来似乎简单好用,我把这段代码用在我做的dll中,也很用了一阵子,今天使用我的dll的兄弟突然告诉我说用dll获得的网页内容和实际内容有出入.我一看,果然,虽然很相似,但还是有很多地方不同,有点象过期的内容.没办法,只好改了,很快,我用HttpWebRequest + POST解决了问题,然后受到启发,找到了使用WebClient的解决之道
WebClient webRemote = new WebClient();
            webRemote.Headers.Add(
"Content-Type","application/x-www-form-urlencoded");
            
byte[] byteArray = Encoding.GetEncoding("gb2312").GetBytes("name=value");
            
string s = Encoding.GetEncoding("gb2312").GetString(webRemote.UploadData(url,"POST",byteArray));
虽然比上面多了2行代码,但比起用HttpWebRequest来说,还是很简单了^_^

php根据URL获得网页内容

php 函数获取网页内容
  • fujiafeihudui
  • fujiafeihudui
  • 2014年07月29日 20:56
  • 16924

php根据URL获得网页内容

PHP 中根据url来获得网页内容非常的方便,可以通过系统内置函数file_get_contents(),传入url,即可返回网页的内容,比如获得百度首页的内容代码为: [php...
  • wakice
  • wakice
  • 2017年03月08日 13:12
  • 1066

PHP抓取网页内容获得网页源代码

1、 file_get_contents获取 $url="http://www.baidu.com/"; $fh= file_get_contents('http://www.hxfzzx.co...
  • han0207xiao
  • han0207xiao
  • 2016年08月29日 17:36
  • 5772

python beautifulsoup 抓取网页正文内容

使用python 的 beautifulsoup 来抓取网页
  • lan_se_ye_ge
  • lan_se_ye_ge
  • 2014年09月04日 13:21
  • 4476

用HttpUrlConnection抓取网页内容

一、HttpUrlConnection连接之模拟浏览器 在诸多的网站中,特别是大型的网站,设置了必须是浏览器的请求才会回应。之所以这样设置,就是为了防止我们这种项目给他产生无意义的请求(往往这种...
  • huang919993967
  • huang919993967
  • 2015年09月07日 16:29
  • 945

Python实现简单的爬虫获取某刀网的更新数据

昨天晚上无聊时,想着练习一下Python所以写了一个小爬虫获取小刀娱乐网里的更新数据#!/usr/bin/python # coding: utf-8 import urllib.request i...
  • u010834767
  • u010834767
  • 2017年04月10日 15:08
  • 800

网络爬虫获得网页内容的方法

1.准备工作 需要下载两个jar包:commons-httpclient和commons-codes commons-httpclient下载地址:http://hc.apache.org/dow...
  • zhumics
  • zhumics
  • 2014年04月23日 16:02
  • 232

SVN 版本库同步 从目标版本库获得锁失败

在使用svn进行版本库同步的过程中,因为意外的原因终止了某次同步,此时如果再进行下一次同步,则会提示以下错误:从目标版本库获得锁失败,当前被“adt-8c676d570cf:8a23d087-3aeb...
  • zbp_uestc
  • zbp_uestc
  • 2014年04月11日 13:34
  • 1116

使用curl模拟登陆抓取网页指定内容

步骤: 1、获取要提交的表单元素 通过审查元素等工具,录一下登陆的过程,获取表单元素。当然也可以通过查看源代码找到需要提交的表单元素。 2、设置curl参数 知识点: 1、curl的使用 2、验证...
  • wzxsjdt
  • wzxsjdt
  • 2016年01月09日 10:26
  • 2877

使用libcurl库获取网页信息(C++ php)

这周要做一个小项目,需要获得学生的账户名密码后,去本校教务系统验证是否正确并且抓一个网页信息下来。 查网上时候,可以通过发送POST或GET请求来实现,然后尝试用POST先。 首先安装libcur...
  • ythunder
  • ythunder
  • 2016年08月19日 20:18
  • 1328
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:获得目标网页的内容
举报原因:
原因补充:

(最多只允许输入30个字)