Python案例学习——模块和包、爬虫的基础概念

最新推荐文章于 2023-01-15 20:28:41 发布

水狗酱QAQ

最新推荐文章于 2023-01-15 20:28:41 发布

阅读量1.2k

点赞数 5

文章标签： python 爬虫

本文链接：https://blog.csdn.net/qq_46192236/article/details/111823971

版权

本笔记尚未完成！！！

1 在Github下载项目

Github是一个面向开源及私有软件项目的托管平台，世界各地的开发者将自己的项目上传备份，或公开源码供大家学习使用。

其中，Git是一个版本控制系统，用于创建和管理仓库来保存、更新项目，或上传到Github。目前“Jetbrain全家桶”的专业版已支持直接上传C/C++、Java、Python等项目到Github。

关于Git的使用、在Github上传项目，可以参考小甲鱼的Git教程视频。建议有一定的软件开发技术，能够开发出项目之后，再学习git。目前只需学习下载和使用Github项目即可。

那么如何下载项目呢？

在这里插入图片描述

很简单，点那个绿绿的Code，然后Download ZIP即可

在这里插入图片描述
很简单！在项目界面往下拉，可以看到作者写的README.md，即用户文档，说明了该项目的使用方式及环境配置等。

本案例要求的环境展示如下。其中第三方库就是Python依赖的外部环境，需要pip install来安装
在这里插入图片描述

snipaste 截图软件

2 Python模块和包

模块

在Python中，每一个.py程序都可以当作一个模块。

在导入模块时，其中所有的 函数、类、变量（对象） 均会被导入。

例如：myModule.py如下

xlb = ["zhk","trz","why","wys","ysh","lwj","lmk","lbh","lb","xzy","zhm","fcl","wyx","sy","ljl","szk","mwh","zy"]

gaoshu = 90
xiandai = 95
C = 95

def printScore():
    print("你高数考%d分" % gaoshu)
    print("你线代考%d分" % xiandai)
    print("你C语言考%d分" % C)

class Cat:  # 定义了一个猫猫类
    def __init__(self,setName):  # 构造函数（初始化方法）：对象被建立时直接调用
        self.name = setName  # 属性
        print("你获得了一只叫%s的猫猫" % self.name)
        self.weight = 20
        self.voice = "喵~"
    def meow(self):  # 方法:猫叫
        print(self.voice * 10)
    def eat(self,addw):
        self.weight += addw
    def setHeight(self,h):
        self.height = h

导入这个myModule.py时，其中的列表xlb、整数gaoshu、函数printScore()、类Cat均会被导入。

import 语句

很简单。import myModule就ok啦。

import语句通常写在最上面。在后面的代码中，可以通过myModule.xxx来介绍

外部包的下载和使用

http://npm.taobao.org/mirrors/chromedriver/
在这里插入图片描述

3 爬虫的概念

爬虫的步骤：

输入网址
获取网页
下载网页上的资源

爬虫用于批量获取资源，只能获取本身就可以看到的

4 案例的食用方法

（1）下载项目

打开该项目的Github页面，点击code->download zip进行下载

（2）安装python环境

必须要有python3.7及以上版本，可以在官网安装。并建议安装集成开发环境pycharm

（3）安装python外部库：

我们可以在github页面看到其依赖的环境，包括selenium和requests两个外部库，用于爬虫的实现。外部库就是其他人写的开源python包。既然是外部库，需要先安装才能使用
在这里插入图片描述

安装方法（1）

（以win10为例）先在左下角输入cmd，打开命令提示符
在这里插入图片描述
然后在cmd中依次输入pip install requests和pip install selenium，按回车

安装方法（2）

如果使用pip不能安装（出现黄字、红字等），可以使用pycharm安装外部包。详见这个教程。

（4）安装chrome driver

chrome driver是chrome的驱动，python的selenium库便是借助着这个驱动，来实现模拟登录、输入账号、自动点击按钮等功能。

参考教程戳这儿

注意！一定要安装和你的chrome相对应的版本！一定要安装chrome的目录下！也就是说，chrome.exe要和chromedriver.exe在一起！好基友一辈子！
在这里插入图片描述

（5）打开程序

至此，本项目所依赖的环境已经配置完毕。现在只需打开程序。由于本项目是一个python项目文档，并非单个的.py源文件，因此推荐用pycharm打开。

将你下载的zip文件解压缩成文件夹，然后右键文件夹->open as pycharm project（打开为pycharm项目）

在这里插入图片描述
如果你找不到open as pycharm project，可以先打开pycharm，然后点左上角的file->open，找到刚才的文件夹并打开。

如果你连pycharm都没下载，那用我家苏苏的话说，你是憨憨吧！你早晚会用到python的！什么？你说你以后也不想用python？我记住了，小心真香定律啊。

（6）配置程序

① 配置chromedriver

打开run.py，在这儿的path填入你的chromedriver路径！非常非常非常重要！！
在这里插入图片描述
打开你的chromedriver所在路径，点上面复制整个路径，然后加一个\chromedriver.exe

注意在python里面，斜杠开头的是转义字符（例如\n是换行，\t是缩进），在处理路径时会被转义！！为了解决这一问题，可以在字符串前面加一个小写的r，表示原生字符串，如上图。