为什么无法获取谷歌的搜索结果页面???

我想用asp获取谷歌的搜索结果页面
Function xmlHttp(sUrl, sCharSet)
    On Error Resume Next
    Dim xml: set xml =  Server.CreateObject("Msxml2.ServerXMLHTTP")  'Server.CreateObject("Microsoft.XMLHTTP")
    xml.Open "GET", sUrl, False
    xml.setRequestHeader "Content-Type", "text/html;charset=" & sCharSet
    xml.Send()
    If Err.Number <> 0 Then 
        xmlHttp = ""
        Exit Function
    End If
    If xml.readyState = 4 Then
        xmlHttp = BytesToBstr(xml.responseBody, sCharSet)
    End If
End Function

Function BytesToBstr(cnvUni, sCharSet)
    On Error Resume Next
    Dim objStream: set objStream = Server.CreateObject("adodb.stream") 
    With objStream
        .Type = 1
        .Mode = 3
        .Open
        .Write cnvUni
        .Position = 0
        .Type = 2
        .Charset =  sCharSet
        BytesToBstr = .ReadText
        .Close
    End With

End Function

ym12=xmlHttp("http://www.google.com.hk/search?q=Yes+or+no&hl=zh-CN&newwindow=1&lr=lang_zh-CN&ft=i&cr=","utf-8")


response.write ym12


结果一运行就出现错误的页面,错误页面显示如下信息

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要批量获取Google搜索结果的URL,可以通过使用Google搜索API或爬虫技术来实现。 一种方法是使用Google搜索API。谷歌为开发人员提供了搜索API,可以通过发送HTTP请求来获取搜索结果的相关信息。使用这种方法,您需要在Google开发者控制台上创建一个项目并获取API密钥。然后,您可以使用API密钥发送HTTP请求,设置搜索关键字、搜索语言和相关参数,然后解析返回的JSON或XML响应以获取搜索结果的URL。这种方法是合法且官方支持的方式,但使用免费版本可能有一定的限制。 另一种方法是使用爬虫技术。您可以编写一个程序,模拟用户在Google搜索页面上输入关键字和点击搜索按钮的行为。然后,程序可以通过解析搜索页面的HTML代码,提取其中的URL链接。您可以使用Python编程语言中的库,如BeautifulSoup或Scrapy,来帮助您解析HTML并提取URL链接。使用这种方法,您可以自定义您需要提取的URL数量,并可以通过设置适当的请求头和延迟时间来尊重网站的爬虫规则。 无论使用Google搜索API还是爬虫技术,都应该遵守相关的法律和道德规范,并尊重网站的隐私政策和爬虫规则。如果使用API,请遵守Google搜索API的使用条款和限制。如果使用爬虫技术,请确保您的程序遵守robots.txt文件中的规定,以减少对目标网站的不必要的负担,并使用适当的方式确保数据的合法性和使用的合适性。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值