爬虫
文章平均质量分 60
唐宋缘明卿_cris
这个作者很懒,什么都没留下…
展开
-
python处理html符号转义
Python处理HTML转义字符在抓网页数据经常遇到例如>或者 这种HTML转义符,抓到字符串里很是烦人。比方说一个从网页中抓到的字符串:p =’<abc>’用Python可以这样处理:import htmlp = '<abc>'txt= html.unescape(p)print (txt)#这样就得到了txt= '<abc>'如果还想转回去,可以这样:import cgiq = cgi.escape(html)原创 2021-06-10 10:09:11 · 1875 阅读 · 2 评论 -
初识scrapy框架,安装&简单爬取
Scrapy基础使用一、scrapy安装与环境依赖1.在安装scrapy前需要安装好相应的依赖库, 再安装scrapy, 具体安装步骤如下:2.创建项目3.项目目录介绍4.scrapy框架介绍: 5大核心组件与数据流向(1)架构:(2).工作流:管道类的注册配置一、scrapy安装与环境依赖1.在安装scrapy前需要安装好相应的依赖库, 再安装scrapy, 具体安装步骤如下:(1).安装...原创 2020-05-01 15:20:53 · 987 阅读 · 0 评论 -
python+requsets封装一个测试脚本
因为这玩意用的太多了,每次都重新写感觉很麻烦,就在这里封装一个万用的,到时候直接调用文件,写参数就完了。内容如下:import requestsimport jsondef post_test(url,data,headers): response = requests.post(url=url,data=data,headers=headers).json() return json.dumps(response,sort_keys=True,indent=4)def get原创 2020-05-24 21:22:22 · 279 阅读 · 0 评论