Python爬虫学习1

一、基本原理

（一）浏览器的工作原理

向目标服务器发送---请求 Request

目标服务器对请求---响应 Response

浏览器对响应回来的内容进行解析，展示给用户图文并茂的页面

（二）爬虫的定义

爬虫是使用Python编写的一段代码，功能是模拟浏览器向服务器发送请求，服务器会将响应结果给Python程序，Python程序需要对接受的响应结果进行处理。

（三）爬虫程序怎么编写？

1：安装一个requests库，目的是向服务器发送请求

2： 使用requests库发送请求

（1） 如果请求方式为get， 使用requests.get()

（2） 如果请求方式为oost， 使用requests.post()

3：解析数据

（1）xpath选取节点

（2）解析数据过程

（a）导入lxml

（b）e = etree.HTML（待解析HTML）

（c）e.xpath(...)

（3）数据的整合

(4) 数据的存储

使用Python操作excel文件，要安装第三方库 openpyxl

使用excel存储

(5)保存

a）创建工作簿对象，对应一个excel文件

b）获取功工作表 sheet页

c）向sheet中添加数据，一次添加一行

sheet.append()

d) 保存

二、以起点网为例

（一）找到请求方式和url

如图可以看到请求方式为get，图片中还有URL和Status Code（200）

（二）xpath提取小说名称

（三）xpath提取作者名称

三、相关代码

#（1）导入requests库

import requests

from lxml import etree #解析（提取）数据

import openpyxl #读写excel文件

#（2）模拟浏览器发送请求

url = 'https://www.qidian.com/rank/yuepiao/'

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36'} #键和值

# 加上headers，伪装成浏览器

resp = requests.get(url,headers = headers) #（）中的内容相当于浏览器地址中的内容；响应结果命名为resp

#print(resp.status_code) #输出响应状态码 结果为200,200表示正常响应

# print(resp.text)

#（3）在谷歌浏览器安装插件xpath

#(4)在python中，使用xpath提取数据（解析数据）

e = etree.HTML(resp.text)

#提取小说名

names = e.xpath('//div[@class="book-mid-info"]/h2/a/text()')

#提取作者名

authors = e.xpath('//p[@class="author"]/a[1]/text()')

# print(names)

# print(authors)

#(5)整合数据，将两个列表中的内容整合到一个大列表，大列表中储了N多小列表

#每个下下列表中['宿命之环','爱潜水的乌贼']

lst = [['小说名称','作者']]

for i in range(0,len(names)):

lst.append([names[i],authors[i]])

for item in lst:

print(item)

#创建一个excel文件

wb = openpyxl.Workbook()

#获取活动表sheet页

sheet = wb.active

#append（列表） 一次添加一行数据

#循环一次就像列表中添加一行数据

for item in lst:

sheet.append(item)

#保存

wb.save('mystory.xlsx')