qq_30108237的博客

Python处理HTML转义字符 在抓网页数据经常遇到例如>或者 这种HTML转义符，抓到字符串里很是烦人。 比方说一个从网页中抓到的字符串: p =’<abc>’ 用Python可以这样处理： import html p = '&lt;abc&gt;' txt= html.unescape(p) print (txt) #这样就得到了txt= '<abc>' 如果还想转回去，可以这样： import cgi q = cgi.escape(html)

Scrapy基础使用一、scrapy安装与环境依赖1.在安装scrapy前需要安装好相应的依赖库, 再安装scrapy, 具体安装步骤如下:2.创建项目3.项目目录介绍4.scrapy框架介绍: 5大核心组件与数据流向(1)架构:(2).工作流:管道类的注册配置 一、scrapy安装与环境依赖 1.在安装scrapy前需要安装好相应的依赖库, 再安装scrapy, 具体安装步骤如下: (1).安装...

因为这玩意用的太多了，每次都重新写感觉很麻烦，就在这里封装一个万用的，到时候直接调用文件，写参数就完了。 内容如下： import requests import json def post_test(url,data,headers): response = requests.post(url=url,data=data,headers=headers).json() return json.dumps(response,sort_keys=True,indent=4) def get