Skr-Eric的爬虫课堂（二）——爬虫的解析模块和数据持久化存储

最新推荐文章于 2024-07-27 12:20:46 发布

Skr-Eric

最新推荐文章于 2024-07-27 12:20:46 发布

阅读量569

点赞数

分类专栏：爬虫--Skr-Eric的编程课堂文章标签： python 爬虫解析模块数据持久化存储

本文链接：https://blog.csdn.net/Skr_Eric/article/details/103769775

版权

爬虫--Skr-Eric的编程课堂专栏收录该内容

9 篇文章 0 订阅

订阅专栏

解析模块

1、数据的分类

1、结构化数据

特点：有固定的格式,如：HTML、XML

2、非结构化数据

示例：图片、音频、视频,这类数据以二进制方式存储

2、正则表达式 re

1、使用流程

1、创建编译对象：p = re.compile('正则表达式')

2、对字符串进行匹配：r = p.match('字符串')

3、获取匹配结果：r.group()

2、常用方法

1、match(html) : 字符串开头的第1个,返回对象

2、search(html): 从开始往后找,匹配第1个,返回对象

3、findall(html) : 所有全部匹配,返回列表

3、表达式

. : 匹配任意字符(不包括\n)

\d : 数字

\s : 空白字符

\S : 非空白字符

\w : 字母、数字、_

[...] : 包含[]内容：A[BCD]E --> ABE ACE ADE

* : 0次或多次

? : 0次或1次

+ : 1次或多次

{m}: m次

{m,n} : m-n次, AB{1,3}C ->ABC ABBC ABBBC

4、贪婪匹配和非贪婪匹配

贪婪匹配(.*) : 在整个表达式匹配成功的前提下,尽可能多的匹配*

非贪婪匹配(.*?) :在整个表达式匹配成功的前提下,尽可能少的匹配*

import re

html = """<div><p>仰天大笑出门去</p></div>
<div><p>成也风云,败也风云</p></div>
"""
# 贪婪匹配,re.S使 . 能匹配\n在内的所有字符
p = re.compile('<div><p>.*</p></div>',re.S)
r = p.findall(html)
print(r)

# 非贪婪匹配
p = re.compile('<div><p>.*?</p></div>',re.S)
r = p.findall(html)
print(r)

5、findall()的分组

import re

s = "A B C D"
p1 = re.compile('\w+\s+\w+')
r1 = p1.findall(s)
print(r1)

# 第1步：['A B','C D']
# 第2步：['A','C']
p2 = re.compile('(\w+)\s+\w+')
r2 = p2.findall(s)
print(r2)

# 第1步：['A B','C D']
# 第2步：[('A','B'),('C','D')]
p3 = re.compile('(\w+)\s+(\w+)')
r3 = p3.findall(s)
print(r3)

3、内涵段子脑筋急转弯抓取

import urllib.request
import re

class NeihanSpider:
    def __init__(self):
        self.headers = {"User-Agent":"Mozilla/5.0"}
        self.baseurl = "https://www.neihan8.com/njjzw/"
        self.page = 1
    
    # 获取页面
    def getPage(self,url):
        req = urllib.request.Request(url,headers=self.headers)
        res = urllib.request.urlopen(req) 
        html = res.read().decode("utf-8")
        self.parsePage(html)
    
    # 解析页面
    def parsePage(self,html):
        p = re.compile('<div class="text-column-item.*?title="(.*?)">.*?class="desc">(.*?)</div>',re.S)
        r_list = p.findall(html)
#        print(r_list)
        # r_list: [("二虎","公母"),(),()]
        self.writePage(r_list)
    # 保存数据
    def writePage(self,r_list):
        for r_tuple in r_list:
            for r_str in r_tuple:
                with open("急转弯.txt","a",encoding="gb18030") as f:
                    f.write(r_str.strip() + "\n")
            # 每个急转弯之间有两个空行
            with open("急转弯.txt","a") as f:
                f.write("\n\n")
            
    # 主函数
    def workOn(self):
        self.getPage(self.baseurl)
        while True:
            c = input("成功,是否继续(y/n):")
            if c.strip().lower() == "y":
                self.page += 1
                url = self.baseurl + "index_" \
                      + str(self.page) + ".html"
                self.getPage(url)
            else:
                print("爬取结束,谢谢使用本爬虫")
                break
        
if __name__ == "__main__":
    spider = NeihanSpider()
    spider.workOn()

网址：http://www.neihan8.com

1、步骤

1、找URL规律

第1页：https://www.neihan8.com/njjzw/

第2页：https://www.neihan8.com/njjzw/index_2.html

2、用正则匹配出题目和答案

3、写代码

1、发请求

2、用正则解析

<div class="text-column-item.*?title="(.*?)">.*?class="desc">(.*?)</div>

3、保存

4、猫眼电影top100榜单,存到csv文件里

import urllib.request
import re
import csv

class MaoyanSpider:
    def __init__(self):
        self.headers = {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60"}
        self.baseurl = "http://maoyan.com/board/4?offset="
        self.offset = 0
        self.page = 1
        
    # 获取页面
    def getPage(self,url):
        req = urllib.request.Request(url,headers=self.headers)
        res = urllib.request.urlopen(req)
        html = res.read().decode("utf-8")
        self.parsePage(html)
    
    # 解析页面
    def parsePage(self,html):
        p = re.compile('<div class="movie-item-info">.*?title="(.*?)".*?class="star">(.*?)</p>.*?class="releasetime">(.*?)</p>',re.S)
        r_list = p.findall(html)
        # r_list:[("霸王别姬","张国荣","1993"),(),()]
        self.writeTocsv(r_list)
        
    # 保存数据
    def writeTocsv(self,r_list):
        for r_tuple in r_list:
#            L = list(r_tuple)
            L = [r_tuple[0].strip(),r_tuple[1].strip(),r_tuple[2].strip()]
            with open("猫眼电影.csv","a",newline="") as f:
                writer = csv.writer(f)
                writer.writerow(L)
        
    # 主函数
    def workOn(self):
        while True:
            c = input("爬按y,退出按q:")
            if c.strip().lower() == "y":  
                url = self.baseurl + str(self.offset)
                self.getPage(url)
                self.page += 1
                self.offset = (self.page - 1)*10 
            else:
                print("爬取结束")
                break
                
if __name__ == "__main__":
    spider = MaoyanSpider()
    spider.workOn()

网址：猫眼电影 - 榜单 - top100榜

目标：抓取电影名、主演、上映时间

1、知识点

1、csv模块的使用流程

1、打开csv文件

with open("测试.csv","a",newline="") as f:

2、初始化写入对象

writer = csv.writer(f)

3、写入数据(列表)

writer.writerow([列表])

2、准备工作

1、找URL规律

第1页：http://maoyan.com/board/4?offset=0

第2页：http://maoyan.com/board/4?offset=10

第n页：offset=(n-1)*10

2、写正则表达式

<div class="movie-item-info">.*?title="(.*?)".*?class="star">(.*?)</p>.*?class="releasetime">(.*?)</p>

3、写代码

数据持久化存储

1、存入mongodb数据库(pymongo模块回顾)

# 创建连接对象

conn = pymongo.MongoClient("localhost",27017)

# 创建数据库对象

db = conn.库名

# 创建集合对象

myset = db.集合名

# 插入数据

myset.insert(字典)

>>>show dbs

>>>use 库名

>>>show collections

>>>db.集合名.find().pretty()

>>>db.dropDatabase()

>>>db.集合名.count()

2、存入MySQL数据库(pymysql模块回顾)

3、requests模块

1、安装

Anaconda Prompt : conda install requests

Windows cmd : python -m pip install requests

## python -m 是以管理员身份执行pip安装命令

Ubuntu : sudo pip3 install requests

2、常用方法

1、requests.get(url,headers=headers)

发起请求,并获取响应对象

2、响应对象res的属性

1、res.text : 字符串

2、res.content : 字节流

3、res.encoding: 指定字符编码 (ISO-8859-1)

## res.encoding = "utf-8"

4、res.status_code : 响应码

5、res.url : 实际数据的URL

3、get()使用场景

1、没有查询参数

res = requests.get(url,headers=headers)

2、有查询参数(params)

res = requests.get(url,params=params,headers=headers)

想要看更多的课程请微信关注SkrEric的编程课堂

Skr-Eric

关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
1
评论
Skr-Eric的爬虫课堂（二）——爬虫的解析模块和数据持久化存储

解析模块1、数据的分类1、结构化数据特点：有固定的格式,如：HTML、XML2、非结构化数据示例：图片、音频、视频,这类数据以二进制方式存储2、正则表达式 re1、使用流程1、创建编译对象：p = re.compile('正则表达式')2、对字符串进行匹配：r = p.ma...
复制链接

扫一扫

专栏目录