html 异步post,python爬虫:用requests.post提交表单抓取异步ajax信息失败

#-*- coding: UTF-8 -*-

import sys

import time

from HTMLParser import HTMLParser

import requests

import random

from bs4 import BeautifulSoup

reload(sys)

sys.setdefaultencoding('utf8')

def get_info(url):

info_list=[]

headers={"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.85 Safari/537.36 QQBrowser/3.9.3943.400"

'X-Requested-With': 'XMLHttpRequest'}

data={

"searchKey":"虚拟化",

"bidType":"0",

"bidWay":"0",

"region":"0",

"solrType":"0",

"frontMobanType":"1",

"pageNum":"2",#应该就是通过传输这个pageNum给服务器实现翻页

"pageCount":"30"

}

try:

content = requests.post(url,data=data,headers=headers).content#就是这里

#t = session.post(url,data,headers)

print content#无法print出内容,说是HTTP Status 405 - Request method 'POST' not supported

except Exception,e:

print e

return

get_info('http://www.zjzfcg.gov.cn/cggg?pageNum=1&pageCount=30&searchKey=%E5%AD%98%E5%82%A8&bidType=0&bidWay=0&region=0')

请各位分析一波,是哪里有误?

回答:

很明显,post地址错了,真正的地址是你截图选中的那条。

(回复里面插不了图,所以在这补充)

浏览器没显示完整URL信息,你需要自己看下完整地址

eef84d3953c944c1e8e9952775fbb8df.png

回答:

你post的地址错了 url 应该是请求http://www.zjzfcg.gov.cn/cggg 问号后面的去掉

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值