爬虫Spider

最新推荐文章于 2024-06-13 15:30:07 发布

大田⺀十

最新推荐文章于 2024-06-13 15:30:07 发布

阅读量514

点赞数

文章标签： python web 多线程 http

本文链接：https://blog.csdn.net/weixin_52901509/article/details/112459207

版权

爬虫Spider

爬虫流程

库–获取网页（相当于人输入网址打开网页）：requests/selenium

requests.get/post(url)

selenium(浏览器驱动)–方法：wbdriver–wbdriver.浏览器创建浏览器对象

get—浏览器对象.get(url) 获取网页

解析网页（相当于查看网页源代码）：bs4(CSS选择器) – 方法：BeautifulSoup— bs4.BeautifulSoup(解析对象，‘html.parser’)

select—select(指定标签相对路径),返回列表

select_one—select_one(指定标签相对路径)，返回一个元素

re(正则) --方法：compile–re.compile(正则表达式)

findall–re.findall(正则对象，get网页文本–res.text)

获取数据（相当于浏览数据）：bs4: text—取指定标签内的文本数据

attrs—取指定标签内的属性对应值

next_sibling.script–取指定标签与下一个兄弟标签的节点,并去掉空格

next_element.script–取指定标签与上一兄弟标签的节点,并去掉空格

正则：利用序列相关操作和方法

数据持久化（相当于下载保存数据）：

xlwt(excel文档)–xlwt.Workbook()–文档对象

文档对象.add_sheet(表格名)

sheet.write(行索引，列索引，数据)

文本对象.save（文档名）

openpyxl(excel文档)–openpyxl.Workbook()–文档对象

文档对象.creat_sheet(表格名)

sheet.cell(行索引，列索引，数据)

文本对象.save（文档名）

csv----with open(‘不存在文档’，‘w’,encoding=‘utf-8’) as f:

csv.write(不存在文档).writerow([元素1，元素2，…])

URL统一资源定位符

url模型

https://www.baidu.com：443/index.html（路径）
- 超文本传输协议
  - http 普通协议
  - https为安全的超文本传输协议（加过密的）
- IP地址/端口
  - www.baidu.com / :443 连接服务器
- 首页
  - index.html 表示当前页面是首页
- 路径
  - 资源的路径
HTTP请求响应式协议
- 请求
  - 请求行–GET/http/1.1 直接获取网页数据，不需要向服务器发送信息
  POST/http/1.1 通过向服务器发送信息获取网页数据
  - 请求头 --（header）请求行下以键值对形式存在的内容，是浏览器发送给服务器的额外信息
    
    ‘User-Agent’:’…’ – 爬取数据时，此键值对放在get()post()中可做伪装，防止被识别出是爬虫。
  - 空行 – \n\r
  - 消息体 – 浏览器向服务器发送的数据内容
- 响应
  - 响应行 – HTTP/1.1 200 OK
    
    200 OK --响应状态码
    
    200 OK----请求成功
    
    300----重定向
    
    400----请求错误
    
    500----服务器崩溃
  - 响应头 – 响应行下以键值对形式存在的内容，服务器发给浏览器的额外信息
  - 空行 – \n\r
  - 消息体 – 服务器向浏览器发送的数据内容

爬虫辅助–多线程

线程(thread)
- 线程是操作系统分配cpu的基本单位，一个进程会有一个或多个线程
- 单线程–同一时间只有一个程序在执行
- 多线程–统一时间多个程序在执行

启用多线程方法

def func(a):
	print(f'线程1{a}')
	time.sleep(5)
	print('end')
	
def func2(b):
	print(f'线程2{b}')
	time.sleep(2)
	print('end2')

import time	
from threading import Tread,daemon
# 创建线程对象,target赋值函数，args赋值参数且必须参数在元组中
t = Tread(target=func,args=(a,))
# daemon 不管t2是否执行完，主线程一执行完就结束
t2 = Tread(target=func2,args=(b,),daemon=True)
#启用线程 start
t.start()
# join起阻塞作用，主线程会等t子线程执行完才会继续执行
t.join()
t2.start()

# 未使用多线程时，程序先执行完func才会执行func2，使用后，func和func2同时执行

# 创建线程池,启用线程池
from concurrent.futures.thread import ThreadPoolExecutor
# 创建
with ThreadPoolExecutor(max_workers=10) as pool:
    # 启用
    pool.submit(执行的函数,参数)

线程锁—当多个线程竞争一个资源时，程序会无法正常执行

def func(a):
	#with RLock():--启用锁释放锁的上下文写法，同RLock.acquire()RLock.release()
    # 启用锁
    RLock.acquire()
    print('a============')
	# 释放锁
    RLock.release()
    from concurrent.futures.thread import ThreadPoolExecutor
form threading import RLock,condition
with ThreadPoolExecutor(max_workers=10) as pool:
	for i in range(10000):
    	pool.submit(func,1)
        
循环执行func函数10000次，启用十个线程，会存在有的线程快有的线程慢的情况，并且还会存在多个线程同时取获取一个资源的情况，这里就要用线程锁给程序上锁，让各线程依次拿到资源

线程调度—在加锁并程序有循环的情况下，一个线程进入死循环，其他需要进入循环得线程就得一直等下去（睡眠），如果循环不打破（等待），整个程序就会停止，会让执行效率大打折扣。

'''
功能：
  上锁
  等待  防死循环占位堵塞  如果线程执行出现问题，他会执行等待机制并自动释放锁
  唤醒  唤醒所有因上一线程出现问题而陷入睡眠的线程，继续拿钥匙
'''
def func1():
	with Conditon(RLock()):
		print('等待进入func')
		# 唤醒睡眠中的所有线程
		Conditon(RLock()).nodify_all()
def func(a):
	with Conditon(RLock()):
    	print('a============')
    	# 等待并释放锁
    	Conditon(RLock()).waite()
	
from concurrent.futures.thread import ThreadPoolExecutor    
form threading import RLock,condition,Condition
with ThreadPoolExecutor(max_workers=10) as pool:
	for i in range(10000):
    	pool.submit(func,1)

爬虫必备前端知识

前端超文本结构

# 超文本的三大内容： 标签----------内容
#                 层叠样式表-----显示
#                 javascript---行为

# 声明文档类型
<!doctype html>
# 文档开头
<html>
	# 设置栏
    <head>
    	<meta charset='utf-8'>
        <title>标题</title>
        # CSS层叠样式表 选择器
        <style>
            # 通配符选择器
            *{}
            # 标签选择器
            h1{}
            # 类选择器
            .j{}
            # id选择器
            #f{}
            #兄弟选择器
            a~p{}
            #相邻兄弟选择器
            a+h1{}
            #父子选择器
            p>input{}
            #后代选择器
            p input{}
        </style>
    </head>
    <body>
        <table>
            # 行
            <tr>
                <td>列</td>
                <th>表头</th>
            </tr>
        </table>
        <ul>
            <li>无序列表</li>
        </ul>
        <ol>
            <li>有序列表</li>
        </ol>
        <dl>
            <dt>定义列表</dt>
        </dl>
        <form action='' id='f' method='post'>
            <p><input type='tel' placeholder='手机号码'></p>
            <p><input type='password' placeholder='密码'></p>
            <p>
            	<input type='submit' value='登录'>
                <input type='reset' autocomplete='重置'>
            </p>
        </form>
        # 锚连接锚点
        <a name='foo'></a>
        # h1-h6 字体大小
        <h1>内容标题</h1>
        # strong字体粗细 em斜体 sub下标 sup上标
        <strong><em><h4>副标题</h4></em></strong><sup>上标</sup><sub>下标</sub>
        <p class='j'>段落</p>
        <img src='图片路径' alt='图片无法加载时显示的东西'>
        <audio controls>
        	<source src='音频路径'>
        </audio>
        <video controls>
        	<source src='视频路径'>
        </video>
        <a href='页面超链接路径' target=_blank>超连接路径的显示载体</a>
        <a href='#foo'>回到锚点</a>
        # 按钮控件，点击确定就能执行script函数功能
        <botton onclick='windo'>确定</botton>
        # script里面使用Javascript语法
        <script>
        	function windo(){
                let name = window.prompt('请输入：')
                window.alter('页面即将关闭'+name)
                window.close()
            }
        </script>
    </body>
</html>

大田⺀十

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
爬虫Spider

爬虫Spider爬虫流程库–获取网页（相当于人输入网址打开网页）：requests/selenium requests.get/post(url) selenium(浏览器驱动)–方法：wbdriver–wbdriver.浏览器创建浏览器对象 get—浏览器对象.get(url) 获取网页解析网页（相当于查看网页源代码）：bs4(CSS选择器) – 方法：BeautifulSoup— bs4
复制链接

扫一扫