一、课程形式;
(1)爬虫阶段:项目非常多。基本上每天都有3-4个项目。最重要的就是项目经验。
(2)笔记形式:在word文档上:每个项目分析截图放到上面。
(3)作业:每天都会留作业:以爬虫项目为主。(笔记)
提交形式:以邮件形式发送:发送给王宾老师和我。
二、爬虫
(一)数据的由来
数据如果想要发挥它的作用,必须要分析。
爬虫最重要的作用就是获取数据。
(二)、爬虫的定义
(1)定义:爬虫就是自动抓取互联网信息的脚本或者程序。
(2)爬虫可以解决的问题。
a、解决冷启动问题。
b、搜索引擎的根基:做搜索引擎少不了爬虫。
c、建立知识图谱,帮助建立机器学习知识图谱。
jquery是什么?
document.gete
选择器可以快速写代码。---使得js编程更加简单。
建议:大家找本书去读一读。因为做网页和爬虫js都非常重要。
(3)爬虫工程师的进阶之路
初级爬虫工程师
1.web 前端的知识: HTML、CSS、JavaSc1ipt、 DOM、 DHTML 、Ajax、jQuery、json 等;
2、正则表达式, 能提取正常一般网页中想要的信息,比如某些特殊的文字, 链接信息, 知道什么是懒惰, 什么是贪婪型的正则;
3、会使用 XPath 等获取一些DOM 结构中的节点信息;
4、知道什么是深度优先, 广度优先的抓取算法, 及实践中的使用规则;
5、能分析简单网站的结构, 会使用urllib或requests 库进行简单的数据抓取。
中级爬虫工程师:
1、了解什么事HASH,会简单地使用MD5,SHA1等算法对数据进行HASH一遍存储
2、熟悉HTTP,HTTPS协议的基础知识,了解GET,POST方法,了解HTTP头中的信息,包括返回状态码,编码,user-agent,cookie,session等。
3、能设置user-agent进行数据爬取,设置代理等。
4、知道什么事Request,什么事response,会使用Fiddler等工具抓取及分析简单地网络数据包;对于动态爬虫,要学会分析ajax请求,模拟制造post数据包请求,抓取客户端session等信息,对于一些简单的网站,能够通过模拟数据包进行自动登录。
5、对于一些难搞定的网站学会使用phantomjs+selenium抓取一些动态网页信息
6、并发下载,通过并行下载加速数据爬取;多线程的使用。
高级爬虫工程师:
1、能够使用Tesseract,百度AI,HOG+SVM,CNN等库进行验证码识别。
2、能使用数据挖掘技术,分类算法等避免死链。
3、会使用常用的数据库进行数据存储,查询。比如mongoDB,redis;学习如何通过缓存避免重复下载的问题。
4、能使用一些开源框架scrapy,scrapy-redis等分布式爬虫,能部署掌控分布式爬虫进行大规模数据爬取。
(三)爬虫的分类
爬虫可以分为通用爬虫和聚焦爬虫。
1、通用爬虫:就是将互联网上的数据整体爬取下来保存到本地的一个爬虫程序,是搜索引擎的重要组成部分。
(1)搜索引擎:就是运用特定的算法和策略,从互联网上获取页面信息,并将信息保存到本地为用户提供检索服务的系统。
(2)搜索引擎的工作步骤:
第一步:抓取网页
涉及到一个问题,如果获取页面的Url,使得搜索引擎涉及到所有的网页。--->搜索引擎的url获取途径都哪些?
a、新网站会主动提交。
b、在其他网站设置的外链也会加入到待爬取的url队列里面。
c、和dns服务商合作,如果有新网站成立,搜索引擎就会获取网址。
第二步:数据存储
第三步:预处理
提取文字
中文分词
消除噪音(比如版权声明文字、导航条、广告等……)
除了HTML文件外,搜索引擎通常还能抓取和索引以文字为基础的多种文件类型,如 PDF、Word、WPS、XLS、PPT、TXT 文件等。我们在搜索结果中也经常会看到这些文件类型。
第四步:提供检索服务,网站排名
(3)搜索引擎的局限性。
1.通用搜索引擎所返回的结果都是网页,而大多情况下,网页里90%的内容对用户来说都是无用的。
2.不同领域、不同背景的用户往往具有不同的检索目的和需求,搜索引擎无法提供针对具体某个用户的搜索结果。
3.万维网数据形式的丰富和网络技术的不断发展,图片、数据库、音频、视频多媒体等不同数据大量出现,通用搜索引擎对这些文件无能为力,不能很好地发现和获取。
4.通用搜索引擎大多提供基于关键字的检索,难以支持根据语义信息提出的查询,无法准确理解用户的具体需求。
2、聚焦爬虫:在实施网页抓取时会对内容进行处理筛选,尽量保证只抓取与需求相关的网页信息。
3、爬虫的准备工作。
(1)robots协议(重点)
定义:网络爬虫排除标准
作用:网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。
将来写爬虫程序我们要规避robots协议即可。
(2)网站地图sitemap
sitemap 就是网站地图, 它通过可视化的形式, 展示网站的主要结构。
网上有很多sitemap生成网站:https://help.bj.cn/
(3)估算网站的大小
可以使用搜索引擎来做,比如在百度中使用site:www.zhihu.com
(四)http协议(重点)
1、http协议:HyperText Transfer Protocol,超文本传输协议
作用:是一种收发html的【规范】。
2、http端口号:80
https端口号:443
HTTPS (Hypertext Transfer Protocol over Secure Socket Layer)简单讲是http的安全版,在http下加入SSL层。
SSL(Secure Sockets Layer 安全套接层)主要用于Web的安全传输协议,在传输层对网络连接进行加密,保障在Internet上数据传输的安全。
数字签证。(也要去在复习复习)。
3、http协议的特点(重点):
(1)应用层协议。(最顶层也是和用户交互的层。)
(2)无连接:http协议每次发送请求都是独立的。http 1.1以后有一个头:connection:keep_alive.
(3)无状态:http协议不记录状态,进而产生了两种记录http状态的技术:cookie和session。
4、url:统一资源定位符。
(1)url的作用:用来定位互联网上的【任意】资源的【位置】。
(2)url的组成:
https://www.baidu.com/s?wd=python&rsv_spt=1
https://www.baidu.com/index.html
协议:https/http
netloc(网络地址):ip:port
ip主要用来定位电脑(网卡)。
port主要用来定位应用。mysql(3306),mongo(27017)----相当于一个门户。
path:资源在服务器的相对路径。---路由(router)
(3)url中的特殊符号。
?:get请求的参数在?后面
&:get请求的多个参数用&连接
#:锚点,定位到页面中任意位置。
(4)python中用来解析url的模块。
from urllib import parse
url = 'https://ww.baidu.com:8888/index.html?username=222&password=123#abc'
result = parse.urlparse(url)
print(result)
'''
ParseResult(
scheme='https',
netloc='ww.baidu.com:8888',
path='/index.html',
params='',
query='username=222&password=123',
fragment='abc')
'''
print(result.scheme)
print(result.netloc)
5、http工作过程:(重点)
(1)地址解析
(2)封装HTTP请求数据包
(3)封装成TCP包,建立TCP连接(TCP的三次握手)
***(4)客户机发送请求命令***
***(5)服务器响应***
(6)服务器关闭TCP连接
6、客户端请求(重要)
(1)组成:请求行、请求头部、空行、请求数据(实体)四个部分组成
请求行:协议,url,请求方法
请求头:主要的作用就是来限定这个请求的详细信息。(非常重要,必须要知道一些重要的请求头的含义。)
请求数据:post请求的数据是放到这里面的。
(2)重要请求头(针对于爬虫而言)
user-agent:客户端标识
cookie:请求的状态信息,很重要
Referer:表示产生请求的网页来源于哪里。
防盗链。
accept:允许传入的文件类型。
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3。
x-requested-with:ajax请求必须要封装的头
--------------------------
content-type:post请求的数据类型
content-length:post请求数据的长度
(3)请求方法:get/post/put(推送)/delete(删除)/trace(诊断)/options(性能)/connect(连接,预留字段)。
get方法:get获取--从服务器获取资源--条件(请求参数)---请求参数是拼接到url里面的?后面--不安全(容易被别人获取:用户名和密码)---大小受限。
post方法:post传递--向服务器传递数据--请求数据是放在实体里面。----安全---大小不受限
记忆知识,千万不要被--理解记忆。
7、服务器响应(重要)
(1)组成:
状态行:状态码
消息报头:
空行
响应正文
(2)响应头
Content-Type: text/html;charset=utf-8:响应的类型
(3)状态码(状态码)(重要)
100~199:表示服务器成功接收部分请求,要求客户端继续提交其余请求才能完成整个处理过程。
200~299:表示服务器成功接收请求并已完成整个处理过程。常用200(OK 请求成功)。 300~399:为完成请求,客户需进一步细化请求。例如:请求的资源已经移动一个新地址、常用302(所请求的页面已经临时转移至新的url)、307和304(使用缓存资源)。
400~499:客户端的请求有错误,常用404(服务器无法找到被请求的页面)、403(服 务器拒绝访问,权限不够---DDos)。
500~599:服务器端出现错误,常用500(请求未完成。服务器遇到不可预知的情况)。
8、当我们在客户端输入一个url,客户端是如何请求加载出整个页面的?(重点)
(1)客户端解析url,封装数据包,发送请求给服务器。
(2)服务器从请求中解析出客户端想要内容,比如index.html,就把该页面封装成响应数据包,发送给客户端。
(3)客户端检查该inde.html中是否有静态资源需要继续请求,比如js,css,图片,如果有继续请求获取静态资源。
(4)客户端按照html的语法结合静态资源将页面完美的显示出来。
三、requests模块(重点)
(一)requests模块简介
Urllib和requests模块是发起http请求最常见的模块。
安装:pip install reqeusts
(二)requests模块的get方法
1、response = requests.get(
url=请求url地址,
headers = 请求头字典,
params=请求参数字典,
)
2、response对象
(1)响应正文:
a、字符串格式的响应正文:response.text
b、字节类型(bytes)的响应正文:response.content
(2)响应正文的乱码问题解决:
response.content.decode('页面的正确编码')
2、案例:百度产品页面下载
问题:下载好的页面打开之后,相比较原来的页面没有图标,为什么?
作业:整理笔记
day01python爬虫
最新推荐文章于 2024-08-17 21:20:27 发布