Python爬虫

最新推荐文章于 2023-06-10 19:58:25 发布
最新推荐文章于 2023-06-10 19:58:25 发布
阅读量528 收藏
点赞数
分类专栏： Python 文章标签： python爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Rozol/article/details/80010235
版权

Python爬虫

本文由 Luzhuo 编写,转发请保留该信息.
原文: https://blog.csdn.net/rozol/article/details/80010235

数据获取途径

  • 企业积累
  • 政府/机构公开数据
  • 数据管理咨询公司
  • 数据交易平台 (有价值的数据可出售, 获取难度越高, 价值越高)
  • 网络爬取 (深浅网络)

爬虫技术

  • 抓取HTML页面
    • urllib, requests
  • 解析响应结果
    • re, xpath, BeautifulSoup4, jsonpath, pyquery
  • ajx动态加载, 验证码的处理
    • Selenium + PhantomJs
    • Tesseract(图像识别)
  • 高性能框架
    • Scrapy(twisted网络框架), Pyspider
  • 分布式框架
    • scrapy-redis
  • 反爬虫
    • User-Agent, 代理, 验证码, 动态加载, 数据加密

通信内容

HTTPS

  • 在http的基础上加了一层ssl层
  • http端口: 80
  • https端口: 443

请求头

  • GET / HTTP/1.1
    • 请求方法: GET / POST / PUT / DELETE / …
  • Host: www.baidu.com
    • 主机+端口号
  • Connection: keep-alive[重要]
    • 连接类型: 客户端发起Connection: keep-alive
      • 服务端支持, 则回复Connection: keep-alive响应, 不关闭连接
      • 服务端不支持, 则回复Connection: close响应, 关闭连接
    • 利用keep-alive可重用连接, 不必每次请求都建立连接, 减轻服务端压力
  • Upgrade-Insecure-Requests: 1
    • 升级为https请求, 在加载资源时, 会自动将http请求替换成https请求
  • User-Agent: Mozilla/5.0 ...[重要]
    • 浏览器名称, 平时尽量多去收集一些
  • Accept: text/html, ...
    • 传输的数据类型: /(所有) / image/jpeg(jpeg图片) / image/gif(gif图片) / text/html(html文本) / application/xxx(数据或文件) / …
  • Referer: https://blog.csdn.net/rozol[重要]
    • 页面跳转, 表示请求的网页来自于哪个url
  • Accept-Encoding: gzip, deflate, br[重要]
    • 编码格式, 一般是压缩类型, 一般不写
  • Accept-Language: zh-CN,zh;q=0.9
    • 语言: en / en-us / zh / zh-cn
  • Cookie: PSTM=1496126358; ...
    • Cookie
  • Content-Type: application/x-www-form-urlencoded
    • POST请求发送的数据类型

响应头

  • Server: Tengine
    • 服务器类型
  • Connection: keep-alive
    • 连接类型
  • Keep-Alive: timeout=20
    • 保持TCP通道的时长
  • Cache-Control：must-revalidate, no-cache, private
    • 告诉客户端不要缓存资源
    • 客户端发送Cache-Control: max-age=0请求, 表示没有缓存资源
    • 服务器回应Cache-Control: no-cache
  • Pragma: no-cache
    • 同 Cache-Control
  • Content-Type: text/html;charset=UTF-8
    • 资源类型
  • Date: Sat, 14 Apr 2018 14:08:23 GMT
    • 服务器发送数据时间
  • Expires: Thu, 01 Jan 1970 00:00:00 GMT
    • 在这个时间之前, 可以直接访问缓存
  • Transfer-Encoding：chunked
    • 服务器发送资源以分块的方式发送

状态码

  • 200: 成功
  • 302: 重定向
  • 304/307: 使用缓存
  • 403: 权限不足
  • 404: 页面丢失
  • 500: 服务器异常

爬虫不可或缺的几个因素

  • Connection: keep-alive: 重用连接, 减轻服务器负担, 使用Cookie访问
  • User-Agent: 使用IE的, 返回的是标准格式的数据
  • Accept-Encoding: 注意压缩类型, 以免拿到解压不了的数据
  • 代理IP
  • response.geturl() 请求后的真实路径, 是否被重定向
  • res.getcode() 返回码
  • ajax加载: from表单提交, 返回数据(如:json, 字符串字典)
  • 在处理登录时, 会有一些去获取cookie 和 动态加密密码 之类的请求
  • xsrf值可从网页上直接获取
  • cookie: 不需要登录的网站不要发cookie
  • 设置延迟请求时间, 特别是需要cookie的网站
  • 使用cookie的网站, 尽量使用同User-Agent和ip

代理IP

爬虫工具

LZ_Luzhuo
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
计算机网络-HTTP协议原理详解
champion_man的博客
10-13 375
http协议特性： 无连接： 无连接的含义是限制每次连接只处理一个请求。服务器处理完客户的请求，并收到客户的应答后，即断开连接。采用这种方式可以节省传输时间 无状态： HTTP协议是无状态协议。无状态是指协议对于事务处理没有记忆能力。缺少状态意味着如果后续处理需要前面的信息，则它必须重传，这样可能导致每次连接传送的数据量增大。另一方面，在服务器不需要先前信息时它的应答就较快。 http1...
【协议分析】HTTP响应头中的2种编码方式介绍
Walter的专栏
09-23 1万+
Content-Encoding是HTTP协议的响应报文头，一般形式如： Content-Encoding：gzip,deflate,compress Content-Encoding的说明中指出deflate指的是在RFC1950说明的zlib格式。也就是说当Content-Encoding为deflate时，内容应该为zlib格式。 compress具说chrome支持，但还没见到哪个w
JavaScript复习记录-高级篇
qq_33274797的博客
11-01 159
HTML DOM (文档对象模型) 当网页被加载时，浏览器会创建页面的文档对象模型 通过 id 查找 HTML 元素 通过标签名查找 HTML 元素 通过类名找到 HTML 元素 addEventListener() 方法 事件冒泡或事件捕获 appendChild() insertBefore() removeChild()移除已存在的元素 rep...
nginx缓存 html5,Nginx HTTP模块 -Nginx expires：页面缓存时间配置
weixin_28848317的博客
06-22 279
Nginx 缓存的设置可以提高网站性能，对于网站的图片，尤其是新闻网站，图片一旦发布，改动的可能是非常小的，为了减小对服务器请求的压力，提高用户浏览速度，我们可以通过设置 Nginx 中的 expires 指令，让用户访问一次后，将图片缓存在用户的浏览器中。需要注意的是，这种缓存方式只能在用户不对浏览器强制刷新的情况下生效，如果用户通过 url 来进行访问，是可以访问到缓存的。Nginx 中的 e...
CAS的Session两秒挂掉？--解决退出后登录，页面刷新的问题
老辉辉的博客
08-22 6637
版本：Server 3.5.2 ------------------------------------ 现象： 登录成功后，马上点退出。 退出登录后，自动跳转到login页面， 慢一点，等个几秒钟，然后输入用户名，密码，提交 页面刷新了一下，仍然是login页面， 再次输入，正常进入。 [已证实，原始的cas的war包部署上，也有此问题] -------
python爬虫20个案例
03-25
讲诉python爬虫的20个案例 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
Python爬虫入门教程：超级简单的Python爬虫教程.pdf
03-20
Python爬虫入门教程是一篇超详细介绍 Python 爬虫入门的教程，从实战出发，适合初学者。读者只需在阅读过程紧跟文章思路，理清相应的实现代码，30 分钟即可学会编写简单的 Python 爬虫。
python爬虫课件+代码.zip
07-25
Python爬虫技术是一种用于自动化网络数据获取的编程技术，它在大数据分析、网站维护、市场研究等领域具有广泛应用。本课程由“路飞学城樵夫”老师指导，通过实际操作帮助学习者掌握Python爬虫的基本原理和实战技巧。...
python爬虫从入门到精通（模块）
03-17
这份文档旨在帮助想要学习Python爬虫的初学者，从入门到精通逐步提升自己的技能。以下是我们将要涵盖的主题： ## 入门篇 1. Python爬虫简介 2. Requests库的使用 3. Beautiful Soup库的使用 4. 爬虫实战：爬取百度...
python爬虫.pdf
12-09
Python爬虫技术详解 Python爬虫是指使用Python语言编写的网络爬虫程序，它可以自动地从互联网上抓取数据，并对其进行处理和分析。Python爬虫技术广泛应用于数据挖掘、机器学习、自然语言处理等领域。 Requests库...
基于python3 的翻译代码。爬虫实例。（非常简单）
08-12
本资源适用于ｐｙｔｈｏｎ３及以上的版本。内有代码注释，有反反爬技术。编程入门的小白可以参考。没有时间戳，签名等。所有设备可以运行。亲测。
猫眼电影COOKIE等加密信息研究-day1
大叔刘
11-10 2424
在浏览器直接m.maoyan.com会跳转301https m.maoyan.com 跳转抓包： GET https://m.maoyan.com/ HTTP/1.1 Host: m.maoyan.com Connection: keep-alive Upgrade-Insecure-Requests: 1 User-Agent: Mozilla/5.0 (Linux; Android 7.1.2; HD1910 Build/N2G48H; wv) AppleWebKit/537.36 (KHTML,.
7个经典python爬虫案例代码分享
BlueSocks152的博客
06-10 3万+
本次的7个python爬虫小案例涉及到了re正则、xpath、beautiful soup、selenium等知识点，非常适合刚入门python爬虫的小伙伴参考学习。注：若涉及到版权或隐私问题，请及时联系我删除即可。
HTTP-cookie
小知识折射大智慧
04-12 1745
转载地址：http://www.webryan.net/2011/08/wiki-of-http-cookie/ 介绍： Cookie通常也叫做网站cookie，保存在用户浏览器端，并在发出http请求时会默认携带的一段文本片段。它可以用来做用户认证，服务器校验等通过文本数据可以处理的问题。 cookie的种类： 1. Secure cookie 安全cookie是在ht
分享Python7个爬虫小案例（附源码）
热门推荐
m0_64336780的博客
10-22 12万+
本次的7个python爬虫小案例涉及到了re正则、xpath、beautiful soup、selenium等知识点，非常适合刚入门python爬虫的小伙伴参考学习。
Python 爬虫总结——案例代码
qq_50909707的博客
02-22 5381
目录 request的基本使用 urllib使用 图片爬取 获取动态数据 session和cokkie的处理 使用xpath解析 使用正则解析 BeautifulSoup使用 seleium自动化爬虫 其他自动化操作 实现无界面 自动化处理iframe标签 基于selenium的12306用户登录 代理的使用 验证码解析 协程的使用 同步爬虫 多线程异步爬虫的使用 线程池 异步协程 aiohttp实现任务异步协程 分布式爬虫 简单练手项目 肯德基破解 ...
Python学习-简单爬虫及文件保存
jiandande3218的专栏
08-31 1497
百度数据抓取及保存文件： import requests # 获取网站信息 response = requests.get("http://www.baidu.com"); #生成一个response对象 response.encoding = response.apparent_encoding; #设置编码格式 #response.encoding = "utf-8"; #设置接收编码格式 print("状态码:" + str(response.status_code)); #打印状态码 #pri
Python新手写出漂亮的爬虫代码1——从html获取信息
夏洛克江户川
10-03 7万+
Python新手写出漂亮的爬虫代码1初到大数据学习圈子的同学可能对爬虫都有所耳闻，会觉得是一个高大上的东西，仿佛九阳神功和乾坤大挪移一样，和别人说“老子会爬虫”，就感觉特别有逼格，但是又不知从何入手，这里，博主给大家纠正一个误区：爬虫并不神秘，也不高级，是一个非常好上手和掌握的东西（当然，里面也有很多坑，也有很多细节，展开说的话其实也蛮复杂的，不过它的模式和套路就摆在那里，看了小编的博客，保证你能爬
Python数据分析与爬虫
05-09
本课程主要讲解Python基础、数据分析扩展包Numpy、pandas、matplotlib，Python读取MySQL数据，Python爬虫及Scrapy框架，无监督机器学习算法聚类分析等，以及案例：互联网金融行业客户价值分析等。
Python 爬虫
最新发布
04-20
Python爬虫是种利用Python编程语言来自动化获取互联网上的数据的技术。通过编写爬虫程序，可以模拟浏览器的行为，访问网页并提取所需的信息，如文本、图片、视频等。Python爬虫广泛应用于数据采集、信息监测、搜索...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值