知识点总结
..
Posierd
这个作者很懒,什么都没留下…
展开
-
bs4 提取数据 保存格式 csv 总结
bs4 的数据转换 soup = BeautifulSoup(html,‘html.parser’) 先使用 find_all 找出一个包含所有信息的 最小 父级 盒子 这样就得到了 需要提取的全部数据 此时数据类型为列表 通过 for 遍历 分别提取 使用方法 find get_text() replace() 当内容需要保存为 csv 文件时 直接先在就在 for 循环上 写入 with open。。。语法 当分别提取得数据 已经得到了 f.write("{},{}原创 2020-06-11 09:07:51 · 616 阅读 · 0 评论 -
Xpath 语法理解(parsel)
'''' xpath 理解 在 html / xhtml 文档信息查找信息 ''' import parsel # pip install parsel 进行安装 # 当前为字符串类型 str html_str = ''' <div> <ul> <li class="item_1"> <...原创 2020-03-19 12:28:13 · 1229 阅读 · 0 评论 -
美丽的汤 xlsx格式 csv 格式
''' 美丽的汤的2种用法 保存数据文件 xlsx 格式文件 csv 文件 ''' from bs4 import BeautifulSoup ''' 根据 class 的属性值 来提取数据 find_all 注意在添加 class 的值是 class 有下划线 class_="属性值" 例:豆瓣top 排行榜的电影信息(目标数据在标签外) time: 2020-02-21 数据转...原创 2020-04-17 18:17:43 · 165 阅读 · 0 评论 -
个人知识点总结
''' 1. url headers 参数确定 URL: 如果目标网址是静态的网页,那就直接确定是他 遇到 ajax 异步加载 需要通过 Network 中 xhr 来通过抓包获取数据 例如关键字: 梨视频 糖堆等案例 Headers: 这个不多说了 2.关于请求方式 我用的最多的 还是 get 请求 ,还有一个没有怎么学到post(就pass) 常...原创 2020-03-28 09:23:12 · 124 阅读 · 0 评论