python爬虫 猫眼电影数据csv和mysql存储过程解析

这篇文章主要介绍了python爬虫 猫眼电影数据csv和mysql存储过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

1 # 去掉左右空格
2 'hello world'.strip()  # 'hello world'
3 # 按指定字符切割
4 'hello world'.split(' ') # ['hello','world']
5 # 替换指定字符串
6 'hello world'.replace(' ','#') # 'hello#world'


我是一名python开发工程师，整理了一套python的学习资料，从基础的python脚本到web开发、爬虫、
数据分析、数据可视化、机器学习、面试真题等。想要的可以进群：688244617免费领取

csv模块

作用：将爬取的数据存放到本地的csv文件中

使用流程

• 导入模块
• 打开csv文件
• 初始化写入对象
• 写入数据(参数为列表)

1 2 3 4 5 6 7 8 9 10 11

import csv with open('test.csv','w') as f:  writer = csv.writer(f) # 初始化写入对象  # 写一行  writer.writerow(['超哥哥',20])  writer.writerow(['步惊云',22]) with open('test.csv','a') as f:  writer = csv.writer(f)  # 写多行  data_list = [('聂风',23),('秦霜',30)]  writer.writerows(data_list)

Windows中使用csv模块默认会在每行后面添加一个空行，使用newline=''可解决

with open('xxx.csv','w',newline='') as f:

猫眼电影top100抓取案例

确定URL网址

猫眼电影 - 榜单 - top100榜 目标

电影名称、主演、上映时间 操作步骤

1、查看是否为动态加载

右键 - 查看网页源代码 - 搜索爬取关键字（查看在源代码中是否存在）

2、找URL规律

• 第1页：https://maoyan.com/board/4?offset=0
• 第2页：https://maoyan.com/board/4?offset=10
• 第n页：offset=(n-1)*10

3、正则表达式

<div class="movie-item-info">.*?title="(.*?)".*?class="star">(.*?)</p>.*?releasetime">(.*?)</p>

4、编写程序框架，完善程序

• 打印程序执行时间
• 随机的User-Agent,(确保每次发请求使用随机)
• 数据爬下来后做处理(字符串),定义成字典
• 一条龙: 获取 -> 调用解析 -> 数据处理
• 猫眼电影数据存入本地 maoyanfilm.csv 文件

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68

from urllib import request import time import re import csv import random class MaoyanSpider(object):  def __init__(self):   self.page = 1 # 用于记录页数   self.url = 'https://maoyan.com/board/4?offset={}'   self.agent = [    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 \    Safari/535.1',    'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0',    'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; \    .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; InfoPath.3)',    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1']    # 请求  def get_page(self, url):   head