爬虫
@苇
愿悲伤不再,愿世间无恙。
展开
-
Python爬虫存储数据
存储数据的几种方式: 1.JSON文件的存储:是一种轻量级的数据交换格式,它是基于ECMAScript的一个子集,在python中分别以list和dict组成 <<<<<<<<返回的是一个字典常用于数据解析>>>>>>>>> json模块提供的四个功能: s = "{'name':'张三'}" --->>>json数据 1.json...原创 2022-03-23 22:27:09 · 2834 阅读 · 0 评论 -
Python爬虫解析数据
解析数据几种方式:1.XPath解析数据:是一种小型的查询语言,是一门在XML文档中查找信息的语言,支持HTML,可通过元素和属性进行导航 (XPath需要依赖XML的数据库)使用XPath选取节点:(谷歌浏览器) 1.nodename 选取此节点的所有子节点 2./ 从根节点进行选择 3.// 从匹配选择的当前节点选择文档中的节点,而不考虑他们的位置 4. ..原创 2022-04-21 10:08:01 · 357 阅读 · 0 评论 -
使用Beautifuisoup(漂亮汤)批量爬取图片
import requestsfrom bs4 import BeautifulSoupcought = 1 # 定义一个可迭代数组def send_requests(): url = 'https://pvp.qq.com/web201605/herolist.shtml' headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML,.原创 2022-03-28 23:19:51 · 332 阅读 · 0 评论