前言
嗨喽,大家好呀!这里是魔王呐~
环境使用:
- Python 3.8
- Pycharm
模块使用:
- requests >>> pip install requests
- parsel >>> pip install parsel
- csv
如果安装python第三方模块:
-
win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
-
在pycharm中点击Terminal(终端) 输入安装命令
基本实现流程:
<通用模板> 采集视频<小电影> 采集图片<美女小姐姐> 采集小说
一. 数据来源分析
确定了自己想要采集数据是什么?
通过开发者工具抓包分析 <不知道 1 知道 2>
通过F12开发者工具里面的搜索关键字, 找到相应的数据
二. 代码实现步骤过程
爬虫模拟浏览器对于url地址发送请求, 获取服务器返回响应数据
- 发送请求 发送get请求
- 获取数据, 获取服务器返回响应数据 response<开发者工具里面看到的>
- 解析数据, 提取我们想要数据内容 xpath css re 这些方法去提取
- 保存数据, 保存表格里面
代码
采集书籍数据
import requests # 数据请求模块 <工具>
import parsel # 数据解析模块 <工具>
import csv # csv数据表格
# mode='a' mode是什么意思 保存方式 a 是什么意思 追加保存
f = open('data_1.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=[
'标题',
'评论',
'推荐',
'作者',
'日期',
'出版社',
'售价',
'原价',
'折扣',
'电子书',
'详情页',
])
csv_writer.writeheader() # 写表头
"""
发送请求
爬虫模拟浏览器对于url地址发送请求, 获取服务器返回响应数据
变量规则:
不能使用数字开头
不推荐使用关键字作为变量名 <import def del ...>
"""
# 确定网址
for page in range(1, 26): # 包含头, 不包含尾巴
print(f'=======================正在采集{
page}页数据内容=======================')
url = f'http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-recent7-0-0-1-{
page}'
# headers 请求头 用来伪装模拟python代码 字典的数据类型
headers