背景
想要在这个网站搜鱼一点通 指定keyword搜索(如图
发现url里输入中文会变成乱码
解决过程
使用urllib.parse.quote直接转码,发现跳转后会链接会自动变成中文
start_urls = ['http://www.bbwfish.com/soresult.asp?keyword={}&stype=5']
def parse(self, response):
keyword = "鱼"
url = self.start_urls[0].format(urllib.parse.quote(keyword))
print(url)
#结果输出
#http://www.bbwfish.com/soresult.asp?keyword=%E9%B1%BC&stype=5
打开链接后:
又跳转成中文了
解决
先查看了网页转码格式
修改代码后成功
start_urls = ['http://www.bbwfish.com/soresult.asp?keyword={}&stype=5']
def parse(self, response):
keyword = "鱼"
url = self.start_urls[0].format(urllib.parse.quote(keyword.encode('gbk')))
print(url)
scrapy发送带参数post请求
要重写start_requests方法,将参数封装在字典中,传递给formdata,注意method是post
传递参数带中文需要将编码设置为gbk
参考博客