爬虫
shoujut
这个作者很懒,什么都没留下…
展开
-
scrapy 和 requests.post() 请求 Content-Type为时multipart/form-data 传参方法
近日爬取数据时遇到Content-Type:multipart/form-data,踩了很多坑,不管怎样传参数都无果,下班来分享下解决方案 import requests from requests_toolbelt import MultipartEncoder url = 'https://www.chengezhao.com/sys/cms/contentList.htm' headers = { 'referer': 'https://www.chengezhao.com/sys/cms/原创 2021-01-14 18:02:02 · 1397 阅读 · 1 评论 -
XX建设工程信息网爬取、乱码问题处理、http://www.tjconstruct.cn/Zbgg/Index/1?type=sgzb
1.直接上代码吧 import requests,re from requests.packages.urllib3.exceptions import InsecureRequestWarning # 禁用安全请求警告 requests.packages.urllib3.disable_warnings(InsecureRequestWarning) # TODO http://www.tjconstruct.cn/Zbgg/Index/1?type=sgzb url = 'http://www.tj原创 2020-12-08 16:30:16 · 610 阅读 · 1 评论