PYTHON 爬虫学习

PYTHON 爬虫学习笔记

python语言基础包括开发环境、流程控制、数据类型等未记录。
本博客基于b站课程“https://www.bilibili.com/video/BV12E411A7ZQ”自行笔记，若有侵权请联系博主删除。

1. Python 文件操作

文件，就是把一份数据存放起来，可以让程序下一次执行的时候直接使用，不必重新制作一份，省时省力。

1.1 文件打开与关闭

1.1.1 打开读写文件

​ 在python中，使用open函数，可以打开一个已经存在的文件，或者创建一个新文件。

​ open(文件名，访问模式)

实例：

f = open('test.txt','w')		# 打开文件，w模式（写模式），不存在则创建
f.write("Hello, world!")		# 写入内容
content1 = f.read(5)				# 读5个字符
# read方法读取指定的字符，开始时指针定位在文件头部，每执行一次向后移动指定字符数。
content2 = f.readlines()
# readlines()方法，读取整个文档行成一个列表，列表中的元素是每一行的字符串（因此可以循环遍历）。
content3 = f.readline()
# readline()方法，读取文档中的一行行成字符串，第一次定位在文件头部，每执行一次指针定位在上一次结束点。

---

访问模式	说明
r	只读方式打开文件，文件的指针将会放在文件的开头。默认模式
w	打开一个文件只用于写入。若已存在则覆盖之，不存在则创建新文件。
a	打开一个文件用于追加。如果该文件已存在，文件指针则会放在文件结尾。也就是说，新的内容将会写入到已有内容之后。如果文件不存在，创建新文件进行写入。
rb	以二进制格式打开一个文件用于只读。文件指针将会放在文件的开头。这是默认模式。
wb	以二进制格式打开一个文件只用于写入。若已存在则覆盖之，不存在则创建新文件。
ab	以二进制格式打开一个文件用于追加。如果该文件已存在，文件指针则会放在文件结尾。也就是说，新的内容将会写入到已有内容之后。如果文件不存在，创建新文件进行写入。
r+	打开一个文件用于读写。文件的指针将会放在文件的开头。
w+	打开一个文件用于读写。若已存在则覆盖之，不存在则创建新文件。
a+	打开一个文件用于读写。如果该文件已存在，文件指针则会放在文件结尾。文件打开时会是追加模式。如果该文件不存在，创建新文件用于读写。
rb+	以二进制格式打开一个文件用于读写。文件指针将会放在文件的开头。
wb+	以二进制格式打开一个文件用于读写。若已存在则覆盖之，不存在则创建新文件。
ab+	以二进制格式打开一个文件用于追加。如果该文件已存在，文件指针则会放在文件结尾。也就是说，新的内容将会写入到已有内容之后。如果文件不存在，创建新文件用于读写。

1.1.2 关闭文件

f.close()						# 关闭文件

1.2 os模块

os模块，有大量io操作方法

import os								# os模块有大量
os.rename("test.txt","test1.txt")	 	# 重命名文件
os.remove("test.txt")					# 删除文件
os.mkdir("test")						# 创建文件夹
os.getcwd()								# 获取当前目录
os.chdir("../")							# 改变默认目录
os.listdir("./")						# 获取目录列表
os.rmdir("test")						# 删除文件夹

2. 错误与异常

2.1. 异常简介

异常是指可以预料的一些系统报错，可以通过对其进行预估和处理以规避，使程序继续运行，而错误一般是不可预料的。

# 捕获异常
try:
    print("-----1-----")
    f = open("111.txt", "r")			# 异常，文件不存在，无法只读。
    print("-----2-----")				# 不被执行
except IOErrot:							# 文件没找到属于 输入输出异常。异常类型需要一致。
    pass								# 捕获异常后执行的代码

捕获不同类型异常，并以字符串形式打印错误信息（程序仍可执行）。

try:
    pass
except (IOErrot,NameError) as result:	# 所有错误类型放进小括号内，result是报错信息
    print(result)

捕获所有异常，并打印报错信息。

try:
	pass
except Exception as result:				# Excption 可以承接任何异常
	print(result)

try:
    pass
except Exception as result
	pass
	print("发生异常") 
finally:
    pass
    print("程序结束")

嵌套，外层异常反馈，内层关闭文档

try：
	f = open("test.txt","r")			# try打开已有的文件
    
    try:
        while True:						# try建立一个循环
            content = f.readline()		# 每次读一行内容
            if len(content) == 0:		# 如果没有内容则推出循环
                break
            time.sleep(2)      			# 每个循环的时间为2s
            print(content)				# 打印每个循环的内容
    finally:
        f.close()						# 退出循环后总是关掉文件
        print("文件关闭")、
except Exception as result:				# 打开过程遇到异常反馈
    print("发生异常")

更新于2021.02.09