python爬虫
所用示例
1.任务：爬取豆瓣top250
2.网址：https://movie.douban.com/top250
3.爬取内容:电影名称、豆瓣评分、评价数、电影概况、电影链接
一、准备工作
（一）找网址
https://movie.douban.com/top250
每一页的链接:url = ‘https://movie.douban.com/top250?start=’+ str(page*25)+’&filter=’(page是页数-1)
（二）找数据的位置:
方法一：元素（element）
1.Fn+F12
2.点击element
3.点击网页内容：
4.我们根据层级结构确定数据位置：
方法二：网络（network）+刷新
headers：我们发送的请求
response：返回的请求
可以看到请求头等信息
（三）编码规范
1.一般python程序第一行要加入（这样可以在代码中包含中文）
#-*-coding:utf-8-*-
或者
#coding=utf-8
2.用于测试程序：（定义程序入口）
def main():
print("hello")
if __name__=="__main__":#下划线有两根，当程序执行时调用函数
main()
（四）引入模块
1.引入自己写的模块：
2.引入系统的模块
（1）安装库：
方法1：点击Terminal——输入pip install 库名
方法2：File->settings->Project douban->Project Intrpreter->±>搜索要安装的包->Install Package
（2）引入库：
from bs4 import BeautifulSoup #网页解析，获取数据beautifulsoup4
import re #正则表达式，文字匹配
import urllib.request,urllib.error #指定URL，获取网页数据
import xlwt #进行excel操作
import sqlite3 #进行SQLite数据库操作
二、构建流程
step1 爬取网页
baseurl = 'https://movie.douban.com/top250?start='
datalist = getData(baseurl)
def getData(baseurl):
datalist = 网页中获取的数据
return datalist
step2 解析数据
边爬边解析，逐一解析
step3 保存数据
savepath = '.\\豆瓣电影Top'
def saveData(savepath):
……
三、urllib
（一）把网页中的源代码封装到一个对象中
import urllib.request
#获取一个get请求
response = urllib.request.urlopen("http://www.baidu.com") #封装在response中
print(response.read().decode('utf-8')) #decode('utf-8')对获取到的网页代码解码，防止出现中文乱码，打出网页源码
#获取一个post请求(用于模拟登录（密码，用户）)
用httpbin.org
import urllib.parse #解析器，解析键值对
data = bytes(urllib.parse.urlencode({"hello":"world"}),encoding = "utf-8")#表单，将键值对信息封装为二进制的包,encoding = "utf-8"封装方式
response = urllib.request.urlopen("http://httpbin.org/post",data = data)
print(response.read().decode('utf-8'))
（二）超时问题
try:
response = urllib.request.urlopen("http://httpbin.org/post",timeout=0.01)#时间超过0.01秒
print(response.read().decode('utf-8'))
except urllib.error.URLError as e:
print("time out!")
（三）响应头的问题（伪装成浏览器）
url = "https://httpbin.org/post"
headers = {"User-Agent":"……"}
data = bytes(urllib.parse.urlencode({"hello":"world"}),encoding = "utf-8")
req = urllib.request.Request(url=url,data=data,headers=headers,method='post')#封装，模拟成真的浏览器
response = urllib.request.urlopen(req)#封装
print(response.read().decode("utf-8"))
（四）获取数据
#爬取网页
def getData(baseurl):
dataist = []
for i in range(0,10):#调用获取页面信息的函数，10次
url = baseurl + str(i*25)
html = askURL(url)#保存获取到的网页源码
return datalist
#得到指定的一个URL的网页内容
def askURL(url):
head = {
"User-Agent":"……"
}#用来伪装，模拟浏览器头部信息
request = urllib.request.Request(url,headers=head)#携带headers去访问url
try:
response = urllib.request.urlopen(request)#获取整个网页的信息
html = response.read().decode("utf-8")#读取信息（网页源码）
except urllib.error.URLError as e:#捕获错误
if hasattr(e,"code"):
print(e.code)#打印code，看编码有什么问题
if hasattr(e,"reason"):
print(e.reason)#打印出没有成功的原因
return html
四、BeautifulSoup（获取网页指定内容）
（一）概述
1.作用：获取网页指定内容
2.引用
from bs4 import BeautifulSoup
（二）操作
1.
from bs4 import BeautifulSoup
file = open("./baidu.html","rb")#baidu.html是存有已经爬取并存下来的网页源代码的文件
html = file.read()#网页源代码
bs = BeautifulSoup(html,"html.parser")#解析html,解析器为html.parser，解析为树形结构
print(bs.a)
print(bs.title)#tag打印出标签tag及其内容：只能拿出找到的第一条
print(bs.title.string)
print(type(bs.title.string))#NavigableString 打印出标签里的内容（字符串）
print(bs.a.attrs)#拿到标签里的所有属性
print(bs)#整个文档的内容
print(bs.a.string)#Comment 是一个特殊的NavigableString，输出的内容不包含注释符号
2.文档的遍历：
print(bs.head.contents)#将tag（此处的tag是head）的子节点以列表的方式输出
print(bs.head.contents[1])#用列表所用来获取它的第1个元素
注：详情可搜索：遍历文件树
3.文档的搜索：
#字符串遍历
t_list = bs.find_all("a")#查找所有a标签的超链接
print(t_list)
#正则表达式
t_list=bs.find_all(re.compile("a"))#找出含有a字母的标签下的所有链接
print(t_list)
#传入一个函数，根据函数要求来搜索
def name_is_exists(tag)
return tag.has_attr("name")
t_list = bs.find_all(name_is_exists)
print(t_list)
#指定参数经行搜索kwargs
t_list=bs.find_all(id="head")
t_list=bs.find_all(class_=True)
t_list=bs.find_all(href="http://……")
#找出含有响应内容的文本
t_list=bs.find_all(text = "地图")#找出含有“地图”的文本
t_list=bs.find_all(text = ["地图","贴吧"])
t_list=bs.find_all(text=re.compile("\d"))#用正则表达式查出所有含数字的文本内容（标签里的字符串
#limit参数
t_list = bs.find_all("a",limit=3)#获取三条标签为a的文档
#css选择器
t_list = bs.select("title")#通过标签查找
t_list = bs.select(".mnav")#通过类名查找（class="mnav"）
t_list = bs.select("#u1")#按照id来查找(id="u1")
t_list = bs.select("a[class='bri']")#通过属性来查找(<a class="bri" href="……"……)
t_list = bs.select("head>title")#通过子标签查找(<head>……<title>……)
t_list = bs.select(".mnav ~ .bri")#兄弟节点
print(t_list[0].get.text())#拿第一个文本元素
五、正则表达式（字符串的格式要求）
（一）正则表达式的常用操作符
注意：可以网上搜索“史上最全正则表达式大全”
（二）re库（解决正则表达式匹配问题）
1.作用
2.模式限制
①re.l 忽略大小写
②re.S 扩大字符的判断范围
3.代码
import re
#创建模式对象
pat = re.compile("AA")#此处的AA是正则表达式，用来验证其他的字符串
#校验
#写法1
m1 = pat.search("CBA")#""中放被校验的内容
print(m1)
m2 = pat.search("CBAA")
print(m2)
m3 = pat.search("AACBAA")
print(m3)
#写法2
m = re.search("asd","Aasd")
print(m)
#找到所有匹配的内容
print(re.findall("a","ASDaBDDa"))#第一个""中放规则，后面的""放字符串
print(re.findall("[A-Z]+","ASDaBDDa"))
#风格替换
print(re.sub("a","A","abcdef")#找到a用A替换，在第三个字符串中查找
注意：建议在被比较的字符串前面加上一个r，防止转义字符问题，eg:
a = "\aabs-\'"
print(a)
（三）应用
找要爬取的内容的源代码：
①影片内容信息
②影片链接
③影片图片
④影片名字
⑤评分
⑥评价人数
⑦一句话的评价
⑧电影信息
注意：复制源代码：右键->edit as HTML
代码：
def main():
baseurl = "http://movie.douban.com/top250?start="
datalist = getData(baseurl)
#影片详情信息的规则
findLink = re.compile(r'<a href="(.*?)">')#创建正则表达式对象，表示规则（字符串模式）②
findImgSrc = re.compile(r'<img.*src="(.*?)"',re.S)#找图片的内容,re.S让换行符包含在字符中，忽略换行符号③
findTitle = re.compile(r'<span class="title">(.*)</span>')#影片片名
findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')#影片评分
findJudge = re.compile(r'<span>(\d*)人评价</span>')#评价人数
findInq = re.compile(r'<span class="inq">(.*)</span>')#一句话的评价
findBd = re.compile(r'<p class="">(.*?)</p>',re.S)#电影信息
#爬取网页
def getData(baseurl):
datalist = []
for i in range(0,10): #调用获取页面信息10次
url = baseurl = str(i*25)
html = askURL(url) #保存获取到的网页源码
#逐一解析数据
soup = BeautifulSoup(html,"html.parser")
for item in soup.findall('div',class_="item"): #查找符合要求(<div class="item">……)的字符串，形成列表(内容含有源代码)①
data = []#保存一部电影的所有信息
item = str(item)
link = re.findall(findLink,item)[0] #re库用来通过正则表达式查找指定的字符串，[0]表示只要符合条件的第一个，link=一页中所有电影的超链接
data.append(link)#把找到的链接加进去
ImgSrc = re.findall(findImgSrc,item)[0] #图片信息
data.append(ImgSrc)#把找到的图片加进去
titles = re.findall(findTitle,item) #片名可能只有一个中文名没有外文名，也可能都有
if(len(titles)==2):
ctitle = titles[0]
data.append(ctitle)#添加中国名
otitle = titles[1].replace("/","")#去掉无关的符号
data.append(ctitle)#添加外文名
else:
data.append(titles[0])
data.append(' ')#外国名留空
rating = re.findall(findRating,item)[0] #打分
data.append(rating)#把找到的分数加进去
judgeNum = re.findall(findJudge,item)[0] #评价人数
data.append(judgeNum)#添加评价人数
inq = re.findall(findInq,item) #添加概述
if len(inq)!=0:
inq = inq[0].replace("。","")#去掉句号
data.append(inq)#概述
else
data.append(" ")#留空
bd = re.findall(findBd,item)[0]
bd = re.sub('<br(\s+)?/>(\s+)?'," ",bd)#去掉<br/>
bd = re.sub('/'," ",bd)#替换\
data.append(bd.strip())#bd.strip()去掉前后的空格
datalist.append(data)#处理好一部电影的信息就存入datalist
return datalist
六、保存数据
1.txt保存
（1）打开
打开方式：open(文件名，访问模式)
访问模式：
例：
f = open('text.txt','w')#w模式（写模式），文件不存在就打开
注意：不存在text的open后新建在当前工程下
（2）关闭
关闭方式：close()
f.close()
（3）写入
写入方式：write
f.write("hello,world!")
（4）读取
操作1：按字符读（read()）
f.read(5)#读取5个字符
注：read并不是每次都从开头读取，执行一次就往后移
例子：
f = open("text.txt",'r')
content = f.read(5)
print(content)#打出hello
content = f.read(5)
print(content)#打出，worl
f.close()
操作2：读取整个文档（列表）(readlines())
f = open("text.txt",'r')
content = f.readlines()
print(content)#打出整个文档
i=1
for temp in content:
print("%d:%s"%(i,temp))
i+=1
#一行一行读取
f.close()
操作3：按行读取（readline()）
f = open("text.txt",'r')
content = f.readline()
print(content,end='')#打出第一行,end=''相当于不换行
content = f.readline()
print(content)#打出第二行
f.close()
注意：其他操作import os可以自行查找补充
2.Excel保存
（1）库
xlwt
（2）基本思路
以utf-8编码创建一个Excel对象
创建一个sheet表
往单元格写入内容
保存表格
（3）代码
表格的坐标位置
import xlwt
workbook = xlwt.Workbook(encoding="utf-8") #创建workbook对象
worksheet = workbook.add_sheet("sheet1")#创建名为sheet1的工作表
worksheet.write(0,0,'hello') #写入数据.write(行，列，参数内容)
workbook.save("student.xls") #保存数据表
九九乘法表写入
（4）应用
savepath = "豆瓣电影Top250.xls"
def saveData(datalist,savepath):
book = xlwt.Workbook(encoding="utf-8",style_compression=0) #创建workbook对象
sheet = book.add_sheet("豆瓣电影Top250",cell_overwrite_ok=True)#创建名工作表
col = ("电影详情链接","图片链接","影片中文名","影片外文名","评分","评价书","概况","相关信息")
for i in range(0,8):
sheet.write(0,i,col[i])#列名
for i in range(0,250):
data = datalist[i]
for j in range(0,8)
sheet.write(i+1,j,data[j])
workbook.save(savepath) #保存数据表
3.Pymysql保存
（1）下载
pip install pymysql
（2）链接数据库
import pymysql
conn = pymysql.connect( # 创建数据库连接
host='10.10.11.131', # 要连接的数据库所在主机ip
user='chb', # 数据库登录用户名
password='123456!', # 登录用户密码
database='base1' # 数据库的名称
)
（3）创建游标
cursor = conn.cursor()#游标
cursor.execute(操作)#可以用游标进行各种操作
（4）创建数据库、表
①创建数据库
# -*- coding: utf-8 -*-
import pymysql
conn = pymysql.connect( # 创建数据库连接
host='10.10.11.131', # 要连接的数据库所在主机ip
user='chb', # 数据库登录用户名
password='123456!', # 登录用户密码
charset='utf8' # 编码，注意不能写成utf-8
)
cursor = conn.cursor()
cursor .execute("create database test_db character set utf8;")
# 执行完之后别忘了关闭游标和数据库连接
cursor.close()
conn.close()
②创建数据表
# -*- coding: utf-8 -*-
import pymysql
conn = pymysql.connect( # 创建数据库连接
host='10.10.11.131', # 要连接的数据库所在主机ip
user='chb', # 数据库登录用户名
password='123456!', # 登录用户密码
database='test_db', # 连接的数据库名，也可以后续通过cursor.execture('user test_db')指定
charset='utf8' # 编码，注意不能写成utf-8
)
cursor = conn.cursor() # 创建一个游标
# 需要执行的创建表的sql语句
sql = """
create table book(
bookid int auto_increment primary key ,
bookname VARCHAR(255) not null ,
authors VARCHAR(255) not null ,
year_publication YEAR not null
);
"""
cursor.execute(sql) # 使用游标执行sql
# 执行完之后别忘了关闭游标和数据库连接
cursor.close()
conn.close()
（5）增、删、改、查
①插入
（1.一次插入一条记录execute()
cursor.execute('insert into 数据表名(键值对) values(数据类型);',(插入的数据内容))
cursor.execute('insert into book(bookname, authors, year_publication) values("%s", "%s", %s);' % ('Python从入门到放弃', '乔布斯', 2019))
conn.commit()
import pymysql
user = '小黑'
pwd = '06161086'
sql = "insert into userinfo(user,password) values(%s,%s)"#增
cursor.execute(sql,user,pwd)#返回值r为受影响的行数
conn.commit()
（2.一次插入多条记录executemany()
data = [
('21天完全入门Java', '扎克伯格', 2018),
('Linux学习手册', '李纳斯', 2017),
('MySQL从删库到跑路', '比尔盖茨', 2018),
]
cursor.executemany('insert into book(bookname, authors, year_publication) values("%s", "%s", %s);', data)
conn.commit()
②更新
cursor.execute('update book set authors=%s where bookname=%s;', ["马云", "Python从入门到放弃"])
conn.commit()
③查询
（1.fetch操作
Ⅰ查询所有记录：fetchall()
cursor.execute('select * from 表名;')
books = cursor.fetchall()
cursor.execute('select * from book where bookid < %s;', [4])
books = cursor.fetchall()
print(books)#输出结果以元组形式保存，每条记录也是一个元素输出内容为(1, 'Python从入门到放弃', '马云', 2019), (2, 'Python从入门到放弃', '马云', 2019), (3, '21天完全入门Java', '扎克伯格', 2018))
Ⅱ查询指定数量的记录：fetchmany(要记录的条数)
cursor.execute('select * from book where bookid < %s;', [4])
books = cursor.fetchmany(2)
print(books)#输出结果为((1, 'Python从入门到放弃', '马云', 2019), (2, 'Python从入门到放弃', '马云', 2019))
Ⅲ取第一条记录：fetchone()
cursor.execute('select * from book where bookid < %s;', [4])
books = cursor.fetchone()
print(books)#输出结果(1, 'Python从入门到放弃', '马云', 2019)
（2.游标（pymysql还提供了DictCursor、SSCursor、SSDictCursor这几类游标。）
ⅠDicCursor(返回的数据以字典形式保存)
cursor = conn.cursor(pymysql.cursors.DictCursor) # 创建一个字典游标
cursor.execute('select * from book where bookid < %s;', [3])
books = cursor.fetchall()
print(books)
cursor.execute('select * from book where bookid < %s;', [3])
book_one = cursor.fetchone()
print(book_one)
输出结果：
[{‘bookid’: 1, ‘bookname’: ‘Python从入门到放弃’, ‘authors’: ‘马云’, ‘year_publication’: 2019},
{‘bookid’: 2, ‘bookname’: ‘Python从入门到放弃’, ‘authors’: ‘马云’, ‘year_publication’: 2019}]
{‘bookid’: 1, ‘bookname’: ‘Python从入门到放弃’, ‘authors’: ‘马云’, ‘year_publication’: 2019}
ⅡSSCursor和SSDictCursor(流式游标,陆陆续续一条一条得返回查询数据,用于内存低、网络带宽小、数据量大的应用场景中。)
cursor = conn.cursor(pymysql.cursors.SSCursor) # 创建一个流式游标
cursor.execute('select * from book;')
book = cursor.fetchone()
while book:
print(book)
book = cursor.fetchone()
输出结果：
(1, ‘Python从入门到放弃’, ‘马云’, 2019)
(2, ‘Python从入门到放弃’, ‘马云’, 2019)
(3, ‘21天完全入门Java’, ‘扎克伯格’, 2018)
(4, ‘Linux学习手册’, ‘李纳斯’, 2017)
(5, ‘MySQL从删库到跑路’, ‘比尔盖茨’, 2018)
④删除
（1.删除一条记录
cursor.execute('delete from book where bookid=%s;', [1])
（2.删除多条记录
cursor.executemany('delete from book where bookid=%s;', [[2], [4]])
conn.commit()#bookid为2和4的记录已经被删除
419
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
