![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
若_青
这个作者很懒,什么都没留下…
展开
-
数据提取
requests发送一个POST请求# data是一个字典requests.post(url,data)post数据来源1.固定值 抓包比较不变值2.输入值 抓包比较根据自身变化值3.预设值--静态文件 需要提前从HTML中获取4.预设值--发请求 需要对指定地址发送请求5.在客户端生成的 分析js,模拟生成器requests.se...原创 2019-10-15 22:23:45 · 165 阅读 · 0 评论 -
requests模块
requests模块介绍1.作用:发送http请求,获取响应数据2.安装:pip install requests3.发送get请求导入调用get方法,对目标URL发送请求案列import requestsurl = 'http://www.baidu.com'response = requests.get(url)print(response.text)...原创 2019-10-15 00:03:46 · 85 阅读 · 0 评论 -
爬虫概述
爬虫的概念网络爬虫就是模拟客户端发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序。原则上,只要是浏览器能做的事情,爬虫都能够做。爬虫的作用数据采集软件测试 抢票 投票 网络安全 爬虫分类 根据被爬虫网站的数量不同,可以分为:通用爬虫,如搜索引擎聚焦爬虫,如12306抢票,或专门抓取某一个网站数据 根据是否以获取数据为目的,可...原创 2019-10-14 18:48:27 · 365 阅读 · 0 评论