python爬虫快速入门

请求库

①urllib

import urllib.parse 
import urllib.request #导入urllib库 安装urllib: pip3 install urllib
url = 'https://www.baidu.com/s' #请求地址
params = {
	'wd':'猛蛇'
}
#制定请求头，伪装成浏览器
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'
}
#cookie是服务器记录在浏览器上的一个字符串，写入到一个文件中。
#1.可以直接在浏览器抓包工具上复制。2.通过requests.session()保持会话。
#post请求方式
#requests = urllib.request.Request(url = url,data = params,headers = headers)
#quote方法适用单个参数，将汉字转换成unicode编码的格式。 例如：params = urllib.parse.quote('猛蛇') --->url = url + params
#urlencode方法适用于多个参数,将汉字转换成unicode编码
params = urllib.parse.urlencode(params)
url = url + params
requests = urllib.request.Request(url=url,headers= headers)#制定请求头,get请求方式
response = urllib.request.urlopen(requests)  #返回存储网页数据的对象
html = response.read().decode('utf-8') #read()以字节形式读取二进制 decode('utf-8')以utf-8编码形式解码

②requests

import requests #导入requests库 安装requests: pip3 install requests
url = 'https://www.baidu.com/s'
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'
}
params = {
	'wd':'猛蛇'
}
#post请求
#form data
#response = requests.post(url = url,data=params ,headers = headers)
#request payload
#response = requests.post(url = url,json=params ,headers = headers)
response = requests.get(url = url,params=params ,headers = headers) #get请求
html = response.txet  #txet属性：获取响应文本数据   content属性：获取响应二进制数据  
#json=response.json()
#json = json.loads(html) #反序列化
#jsonp格式xxx({}) 需要去掉xxx()-->html.replace('xxx(','')[:-1]

③selenium

from selenium import webdriver
url = 'https://www.baidu.com'
path = './浏览器驱动路径'
browser = webdriver.Chrome(path) 
browser .get(url)

解析库

①lxml

#xpath使用场景：用来解析常规HTML结构
#导入lxml库 安装lxml: pip3 install lxml
from lxml import etree 
#使用etree.HTML()解析内容
html_parse = etree.HTML(html) 
#xpath获取指定节点数据
titles = html_parse.xpath('xpath路径')  #返回list
if titles: #判断list是否为空
	for title in titles:
		print(title)
else:
	print('null')

②bs4

#使用场景：解析xml、svg
#导入bs4 库 安装bs4: pip3 install bs4 
from bs4 import BeatifulSoup
#lxml是第三方解析器  html.parser是Python内置解析器
html_parse = BeatifulSoup(html,'lxml') 
#find() find_all()  select()  get_text()获取对象内容
title = html_parse.find('title').get_text()

③re

#使用场景：获取HTML中的JavaScript代码中的一部分代码或字符串
#导入re 库 安装re: pip3 install re  
import re 
#findall('pattern',html)中pattern是正则表达式  html是被抽取数据的内容
html_parse = re.findall('pattern',html) #正则表达式查找

存储数据

①

#使用with open() as f: 自动打开或创建文件读写追加数据，完毕后自动关闭退出
#mode指定模式 'w' 'r'读 'a'追加  encoding指定打开文件编码格式
with open('./demo/abc.txt',mode = 'w',encoding = 'utf-8') as f:
	#write()写进  read()读
    f.write(content)

②pandas

#导入pandas库 安装pandas: pip3 install pandas  
import pandas
#DataFrame是二维矩阵 自定义column = ['a','b','c']列名值  自定义index = ['aa','bb','cc']索引值
#to_excel()把数据存储.xlsx文件  index = False 不添加索引值 index默认为True 自动添加索引值
pandas.DataFrame(content,column = ['a','b','c']).to_excel('./demo/abc.xlsx',index = False) 

③pymysql

import pymysql
conn = pymysql.connect(host:'127.0.0.0',post:'3306',user:'root',password:'xxx',database:'demo',charset = 'utf8') #创建mysql连接对象
cursor = conn.cursor() #创建游标
cursor.execute("""
insert into test (name,age,sex) values('张三',13,'nan')
""") #执行插入数据操作
cursor.close() #关闭游标
conn.close() #关闭数据库

多任务异步爬虫

进程：是内存资源最小分配单位，进程（process）之间是隔离的。
线程：是cpu调用执行任务的最小单位，同一进程的多个线程（thread）之间是不隔离的。
协程：是一种用户态的轻量级线程，协程的调度完全由用户控制，一个线程可以拥有多个协程，协程也可以被挂起（suspend），挂起时将CPU的执行权让出，允许其他协程运行。

#协程例子
import asyncio
import aiohttp
from lxml import etree

#完成一个任务函数
async def download_one(url):
    async with aiohttp.ClientSession() as session: #requests.session()
        async with session.get(url) as resp:
            page_source = await resp.text() #挂起等待页面返回数据
            tree = etree.HTML(page_source) #解析HTML页面
            print(tree.xpath('//table//text()'))
            print('*'*60)

async def main():
    tasks = []
    for i in range(1,6):
        url = f'https://www.17k.com/all/book/2_0_0_0_0_0_0_0_{i}.html'
        task = asyncio.create_task(coro=download_one(url))
        tasks.append(task)
    await asyncio.wait(tasks) #等待所有任务完成

if __name__ == "__main__":
    # asyncio.run(main()) #异步运行
    event_loop = asyncio.get_event_loop()
    event_loop.run_until_complete(main())

Scrapy框架爬虫

Scrapy框架工作流程：

使用版本：pip install scrapy2.5.1 scrapy-redis（0.7.2）
升级twisted： pip install --upgrade twisted22.4.0
调正OpenSSL版本
1.创建项目
scrapy startproject 项目名
2.进入项目目录
cd 项目名
3.生成spider
scrapy genspider 爬虫名字 网络域名
4.调正spider
给出start_urls
如何解析数据
5.调正setting核心配置文件
USER_AGENT=‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36’ #模拟浏览器
ROBOTSTXT_OBEY=False #不遵循robot协议
DOWNLOAD_DELAY=3 #延时3秒
#调整日志记录级别：
LOG_LEVEL=‘WARNING’
6.运行scrapy程序（切换到项目目录下执行）
scrapy crawl 爬虫名