爬虫基本原理

1、什么是爬虫?

请求网站并提取数据的自动化程序

2、爬虫的基本流程

请求(request)、相应(response)、解析内容、保存数据

3、Request和Response

(1)浏览器发送消息给网址所在的服务器,这个过程叫HTTP Request
(2)服务器收到浏览器发送的消息后,能够根据浏览器发送消息的内容,做相应处理,然后把消息回传给浏览器。这个过程叫HTTP Response

  (3)   浏览器收到服务器的Response信息后,会对信息进行相应处理,然后展示

4、Request中包含什么?

(1)请求方式:主要有GET\POST两种类型,另外还有HEAD\PUT\DELETE\OPTIONS等不太常用的类型

(2)请求URL:URL即统一资源定位符,一个网页文档、一个图片、一个视频都可以用URL来表示

(3)请求头:包含请求时的头部信息,如User-Agent\Host\Cookies等信息

(4)请求体:请求时额外携带的数据,如表单提交时候的表单数据,POST类型的请求也存放在请求体中

5、Response中包含什么?

(1)响应状态:状态码200表示成功,300以上一般是跳转,404找不到页面,502服务器错误

(2)响应头:如内容类型、内容长度、服务器信息、设置Cookie等

(3)响应体:如网页源代码等

6、能抓怎样的数据?
(1)网页文本:HTML,JSON等

(2)图片、视频:获取的是二进制文件,保存为图片格式即可

import requests

response = requests.get('https://www.baidu.com/img/baidu_resultlogo@2.png')

with open('1.gif','wb') as f:
	f.write(response.content)
	f.close()

(3)其他:只要是能请求到的,都能够抓取

7、怎样来解析?
(1)直接处理

(2)JSON解析

(3)正则表达式

(4)BeautifulSoup\PyQuery\XPath等好用的解析库

8、为什么我抓到的数据和浏览器看到的不一样?

在浏览器中看到的大多页面都是经过JS文件渲染之后的,与最初请求的网页源代码不同

9、怎样解决JavaScript渲染的问题?
(1)分析Ajax请求

(2)使用Selenium\WebDriver这些自动化测试模块模拟浏览器操作

(3)Splash

(4)PyV8等

10、怎样保存数据?

(1)纯文本

(2)关系型和非关系型数据库:MongoDB\MySQL等

(3)二进制文件:如图片视频等文件

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
系统根据B/S,即所谓的电脑浏览器/网络服务器方式,运用Java技术性,挑选MySQL作为后台系统。系统主要包含对客服聊天管理、字典表管理、公告信息管理、金融工具管理、金融工具收藏管理、金融工具银行卡管理、借款管理、理财产品管理、理财产品收藏管理、理财产品银行卡管理、理财银行卡信息管理、银行卡管理、存款管理、银行卡记录管理、取款管理、转账管理、用户管理、员工管理等功能模块。 文中重点介绍了银行管理的专业技术发展背景和发展状况,随后遵照软件传统式研发流程,最先挑选适用思维和语言软件开发平台,依据需求分析报告模块和设计数据库结构,再根据系统功能模块的设计制作系统功能模块图、流程表和E-R图。随后设计架构以及编写代码,并实现系统能模块。最终基本完成系统检测和功能测试。结果显示,该系统能够实现所需要的作用,工作状态没有明显缺陷。 系统登录功能是程序必不可少的功能,在登录页面必填的数据有两项,一项就是账号,另一项数据就是密码,当管理员正确填写并提交这二者数据之后,管理员就可以进入系统后台功能操作区。进入银行卡列表,管理员可以进行查看列表、模糊搜索以及相关维护等操作。用户进入系统可以查看公告和模糊搜索公告信息、也可以进行公告维护操作。理财产品管理页面,管理员可以进行查看列表、模糊搜索以及相关维护等操作。产品类型管理页面,此页面提供给管理员的功能有:新增产品类型,修改产品类型,删除产品类型。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值