爬虫详解+案例

定义

把互联网比作是一张网络的话，爬虫就是网络上的蜘蛛。通过Python进行爬虫代码编写进行网络请求然后进行数据的获取。快速高效的进行数据的检索筛选和获取。

应用

搜索引擎，数据分析，数据的二次应用，（某些软件的冷启动 ）

工具

    1.urllib.request     自带库
    2. requests         网络访问库 第三方库
    3.bs4      解析
    4.lxml       第三方库

大体思路

1.进行请求。
2.进行解析，可能会多次解析。
3.获取数据、

案例(以爬取王者荣耀官网英雄云樱为例)：

# 页面解析
from bs4 import BeautifulSoup
import requests
# 定义要访问的网站
URL="https://pvp.qq.com/web201605/herodetail/538.shtml"
# 请求
req=requests.get(url=URL)
# 字符集设定
#对于不同的网站会有不同的编码，不同的分析方式
req.encoding="gbk"
print("响应码:",req.status_code)
# 获取网页源码
html=req.text
#lxml是一个解析工具
bf=BeautifulSoup(html,"lxml")
# select方法是通过选择器来进行节点的获取，返回的是列表
p=bf.select(".skill-desc")[0]
print(p)
txt=p.string
with open("云樱技能.txt","w",encoding="utf-8") as file:
    file.write(txt)