- 博客(3)
- 收藏
- 关注
RSS订阅原创 20190927关于ROOT 文件抓取的的笔记
from bs4 import BeautifulSoup 由于所需要的抓取的数据是异步数据，且被robot限制，，最终采取手动刷新页面，在F12 手动复制代码保存为TXT 文档 这里，使用BeautifulSoup html 文档解析器， 对纯文本文档做HTML 解析，让后更具HTML 原理，，更具标签抓取想要的数据，，这里如果纯文本文档，如果不做HTML 解析处理，里面的有效数据，要么用正则表...
2019-09-27 16:50:02
129
原创 关于异步数据抓取的问题
目前想抓取一个数据的网站，首先，robots 里面是disable, 给予的数据是 异步 POST 请求， 无论用什么方法抓取的数据，，能抓取到网页，但是动态部分，就是不现实， 使用网页开发者工具，操作网页，异步部分又显示有数据。 难道，java 动态页面数据抓取不了？？ ...
2019-09-26 10:55:21
227
原创 2019年09月23号关于异步AJAX数据抓取笔记
2019年09月23号关于异步AJAX数据抓取笔记 Python 3.0 模块 requests 1，获取异步数据 主界面连接地址，如 URL=“http://www.baid.com” 2, F12开发者工具 3，获取form data 各个数据 生成post data 参数的字典 data = { “currentRound”: page, “season”: “2019-2020”...
2019-09-23 11:26:09
116
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人