爬虫笔记（六）——面向对象的编程，重写爬虫代码

系列文章目录

爬虫学习笔记（四）——糗百爬虫遇到的反爬
爬虫学习笔记（三）——利用JSON爬取豆瓣热映的使用
爬虫学习笔记（二）：requests基础用法之爬取各类主流网站2
爬虫学习笔记（一）：requests基础用法之爬取各类主流网站1

---

@[TOC](文章目录)

---

前言

面向对象的编程
Python从设计之初就已经是一门面向对象的语言，正因为如此，在Python中创建一个类和对象是很容易的。本文对前文中编写的代码进行改进，以面向对象的编程方式，对代码进行优化，顺便联系面向对象的编程能力

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、面向对象的编程

面向对象技术简介

• 类(Class): 用来描述具有相同的属性和方法的对象的集合。它定义了该集合中每个对象所共有的属性和方法。对象是类的实例。
  类变量：类变量在整个实例化的对象中是公用的。类变量定义在类中且在函数体之外。类变量通常不作为实例变量使用。 数据成员：类变量或者实例变量,
  用于处理类及其实例对象的相关的数据。
  方法重写：如果从父类继承的方法不能满足子类的需求，可以对其进行改写，这个过程叫方法的覆盖（override），也称为方法的重写。
  局部变量：定义在方法中的变量，只作用于当前实例的类。
  实例变量：在类的声明中，属性是用变量来表示的。这种变量就称为实例变量，是在类声明的内部但是在类的其他成员方法之外声明的。
  继承：即一个派生类（derived class）继承基类（base
  class）的字段和方法。继承也允许把一个派生类的对象作为一个基类对象对待。例如，有这样一个设计：一个Dog类型的对象派生自Animal类，这是模拟"是一个（is-a）"关系（例图，Dog是一个Animal）。
  实例化：创建一个类的实例，类的具体对象。 方法：类中定义的函数。
  对象：通过类定义的数据结构实例。对象包括两个数据成员（类变量和实例变量）和方法。

二、使用步骤

1.主要格式

代码如下（示例）：首先引入对应的库文件和模块，然后定义一个爬虫的类 Class Spider。
1.在爬虫类中定义初始参数，在类中写入headers和urls地址。
2.发送参数请求，主要是利用request的get请求。
3.定义一个run的主程序，将运行的程序都放在run()下面执行。

import ...
class Spider:  #定义一个爬虫的类
    def __init__(self): #定义初始参数
    def send_request(self,url,headers): #定义请求发送参数
    def run(self):  #定义运行主程序
    if __name__ == '__main__':
 DB=Spider()
    DB.run()

2.代码演示

在爬虫笔记（一）中，爬取豆瓣电影标题的程序，进行面向对象的编程方式修改，代码如下（示例）：

# -*- coding: utf-8 -*-
import requests
from lxml import html
class DoubanSpider:
    def __init__(self):
        self.url='https://movie.douban.com/' #需要爬数据的网址
        self.headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/75.0.3770.100 Safari/537.36'}
    def send_request(self,url,headers):
        page=requests.Session().get(url,headers=headers)  #session 模拟登陆
        tree=html.fromstring(page.text)
        return tree
    def run(self):
        datas = self.send_request(self.url,self.headers)
        result=datas.xpath('//td[@class="title"]//a/text()') #获取需要的数据
        count = 0
        for i in result:
              print(i, end='\n')
              count += 1
              if (count % len(result) == 0):
                  print(end='\n')
if __name__ == '__main__':
    DoubanPC=DoubanSpider()
    DoubanPC.run()

在爬虫笔记(二)中，利用lxml模块爬取果壳网标题的程序。

---

-*- coding: utf-8 -*-
import requests
from lxml import etree
class GuokrSpider:
    def __init__(self):
        self.url='https://www.guokr.com/science/category/science' #需要爬数据的网址
        self.headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/75.0.3770.100 Safari/537.36'}
    def send_request(self,url,headers):
        page=requests.Session().get(url,headers=headers)  #session 模拟登陆
        tree=etree.HTML(page.text)
        return tree
    def run(self):
        datas = self.send_request(self.url,self.headers)
        result=datas.xpath('//div[@class="layout__Skeleton-zgzfsa-3 styled__InfoTitileWrap-sc-1b13hh2-7 eCquRY"]//text()') #获取需要的数据 #获取需要的数据
        count = 0
        for i in result:
              print(i, end='\n')
              count += 1
              if (count % len(result) == 0):
                  print(end='\n')
if __name__ == '__main__':
    GuokrPC=GuokrSpider()
    GuokrPC.run()

在爬虫笔记(三)中，利用requests+json爬取豆瓣网的程序。

# -*- coding: utf-8 -*-
import json
import requests
class Dbjson_Spider:
    def __init__(self):
        self.url='https://m.douban.com/rexxar/api/v2/subject_collection/movie_showing/items?os=android&for_mobile=1&start=0&count=18&loc_id=108288' #需要爬数据的网址
        self.headers={"Referer": "https://m.douban.com/movie/nowintheater?loc_id=108288",
         "User-Agent":"Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Mobile Safari/537.36"}
    #只要少了referer就报错。。。。
    def send_request(self,url,headers):
        response = requests.get(url,headers=headers)  #session 模拟登陆
        ret1 = json.loads(response.text)
        return ret1
    def run(self):
        datas = self.send_request(self.url,self.headers)
        content_list = datas["subject_collection_items"]
        print(content_list)
        for i in content_list:
            items = {"电影名称": i['title'], "上映时间": i['release_date'], "网址": i['uri']}
            content = json.dumps(items, ensure_ascii=False) + "\n,"
            with open("doubandianying.txt", "a", encoding="utf-8") as f:
                f.write(content)
if __name__ == '__main__':
    DBjson=Dbjson_Spider()
    DBjson.run()

总结

提示：这里对文章进行总结：
例如：以上就是今天要讲的内容，本文仅仅简单介绍了如何利用面向对象的方法修改自己的爬虫程序。