在这一次的寒假，我学习了python爬虫，并且做到了自己做爬虫，并用爬取的数据进行一些数据分析,接下来我就说说我是如何在一星期内学完爬虫的（有python基础）
一，首先对爬虫有一个具体的概念，了解什么是爬虫，这样才可以搓出代码
爬虫一般有3部 ，分别是1：爬取网页 2：解析数据 3：保存数据
二，对所需的库进行学习，在这里我学习了re,bs4,urllib,xlwt,sqlite3(将数据写入数据库中，因为我不常用而且并不熟练便不做描述)等库
1，re库
对数据进行提取
import re
#正则表达式：字符串模式（判断字符串是否符合一定的标准
#创建模式对象
pat = re.compile("AA")#此处的AA，是正则表达式，用来去验证其他的字符串
m = pat.search("CBA")#search字符串被校验的内容
m=pat.search("ABCAA")#search方法，进行比对查找
#没有模式对象
m = re.search("asd","Aasd")#前面的字符串是规则，后面的字符串是被校验的对象
print(m)
re.findall("a","ASDaDFGAa") #前面的字符串是规则(正则表达式)，后面的字符串是被校验的对象2，urllib
在Python2中，有urllib和urllib2两个库来实现请求的发送，而在Python3中，统一为了urllib，其官方文档链接为：https://docs.python.org/3/library/urllib.html。urllib是Python内置的HTTP请求库，它包含4个模块：
request：最基本的HTTP请求模块，可以用来模拟发送请求。
error：异常处理模块，如果出现请求错误，可以捕获异常，然后进行重试或其他操作。
parse：工具模块，提供了许多URL处理方法，如拆分、解析、合并等。
robotparser：主要用于识别网站的rebots.txt文件，然后判断哪些网站可以爬，哪些网站不可以爬。
import urllib.request
import urllib.error
#获取一个get请求
# response=urllib.request.urlopen("http://www.baidu.com")
# print(response.read().decode("utf-8"))#对获取到的网页源码进行utf-8解码
#获取一个post请求
# import urllib.parse
# data=bytes(urllib.parse.urlencode({"hello":"world"}),encoding="utf-8")
# response=urllib.request.urlopen("http://httpbin.org/post",data=data)
# print(response.read().decode("utf-8")
#超时处理
# try:
# response=urllib.request.urlopen("http://httpbin.org/get",timeout=0.1)
# print(response.read().decode("utf-8"))
# except urllib.error.URLError as e:
# print("time out")
# response=urllib.request.urlopen("http://www.baidu.com")
# #print(response.status)
# print(response.getheaders())
3， bs4
BS4全称是Beatiful Soup，它提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为tiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码，不需要考虑编码方式。
bs4的4种对象：
·Tag对象：是html中的一个标签，用BeautifulSoup就能解析出来Tag的具体内容，具体的格式为‘soup.name‘,其中name是html下的标签。
·BeautifulSoup对象：整个html文本对象，可当作Tag对象。
·NavigableString对象：标签内的文本对象。
·Comment对象：是一个特殊的NavigableString对象，如果html标签内存在注释，那么它可以过滤掉注释符号保留注释文本。
最常用的还是BeautifulSoup对象和Tag对象。
4，xlwt用于将数据写入excel
import xlwt
'''
workbook=xlwt.Workbook(encoding="utf-8")#创建woorkbook对象
worksheet=workbook.add_sheet('sheet1')# 创建工作表
worksheet.write(0,0,'hello') #写入数据，第一个参数是行，第二个是列。第三个是内容
workbook.save("student.xls")
'''
workbook=xlwt.Workbook(encoding="utf-8")#创建woorkbook对象
worksheet=workbook.add_sheet('sheet1')# 创建工作表
for i in range(0,9):
for j in range(0,i+1):
worksheet.write(i,j,"%d * %d = %d"%(i+1,j+1,(i+1)*(j+1)))
workbook.save("student.xls")三，代码
#codint = utf-8
import sys
import re #正则表达式，进行文字匹配
import bs4#进行网页解析，获取数据
import urllib.request,urllib.error #制定url，获取网页数据
import xlwt #进行excel操作
import sqlite3 #进行sqlite数据库操作
#影片详情链接的规则
findlink = re.compile(r'<a href="(.*?)">') #创建正则表达式对象，表示规则（字符串的模式）
#影片图片
findImgSrc = re.compile(r'<img.*src="(.*?)"',re.S) #re.S让换行符包含在字符中
#影片名字
findTitle = re.compile(r'<span class="title">(.*)</span>')
#影片评分
findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
#评价人数
findJudge = re.compile(r'<span>(\d*)人评价</span>')
#找到概况
findInq = re.compile(r'<span class="inq">(.*)</span>')
#找到影片的相关内容
findBd = re.compile(r'<p class="">(.*?)</p>',re.S)
def main():
baseurl="https://movie.douban.com/top250?start="
#1. 爬取网页
datalist=gatdata(baseurl)
#savepath="top250.xls"
dbpath = "movie.db"
#savedata(datalist,savepath)
#init_db(dbpath)
saveData2DB(datalist,dbpath)
#askurl("https://movie.douban.com/top250?start=0")
#爬取网页
def gatdata(baesurl):
datalist=[]
for i in range(0,10): #调用获取信息的函数，10次
url=baesurl+str(i*25)
html=askurl(url) #保存获取到的网页源码
# 2. 逐一解析数据
soup=bs4.BeautifulSoup(html,"html.parser")
for item in soup.find_all('div',class_="item"):#查找符合要求的字符串，形成列表
#print(item)#测试：查看电影item全部信息
data = [] #保存一部电影的所有信息
item = str(item)
#print(item)
link = re.findall(findlink,item)[0] #re库用来通过正则表达式查找指定的字符串
data.append(link) #添加链接
img = re.findall(findImgSrc,item)[0]
data.append(img) #添加图片
title=re.findall(findTitle,item)
if len(title) == 2:
data.append(title[0]) #添加中文名
data.append(title[1].replace("/","")) #添加英文名，且去掉无关符号
else:
data.append(title[0])
data.append(' ') #外国名留空
rating = re.findall(findRating,item)[0]
data.append(rating) #添加评分
judgeNum = re.findall(findJudge,item)[0]
data.append(judgeNum) #添加评分人数
inq = re.findall(findInq,item)
if len(inq) != 0:
inq = inq[0].replace("。","") #去掉句号
data.append(inq)#添加概述
else:
data.append(' ')#留空
bd = re.findall(findBd,item)[0]
bd = re.sub('<br(\s+)?/>(\s+)?',"",bd) #去掉<br/>
bd = re.sub('/',' ',bd) #去掉/
data.append(bd.strip()) #去掉空格
datalist.append(data)
#print(datalist)
return datalist
#得到指定一个url的网页内容
def askurl(url):#head是模拟浏览器头部信息，向豆瓣服务器发送信息
#head={"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36 Edg/108.0.1462.54"}
head={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36 Edg/108.0.1462.46"}
#用户代理，表示告诉豆瓣服务器，我们是什么类型的机器，浏览器（本质上是告诉浏览器，我们可以接受什么水平的文件内容）
request=urllib.request.Request(url,headers=head)
html=""
try:
response=urllib.request.urlopen(request)
html=response.read().decode("utf-8")
#print(html)
except urllib.error.URLError as e:
if hasattr(e,"code"):
print(e.code)
if hasattr(e,'reason'):
print(e.reason)
return html
#3.保存数据
def savedata(datalist,savepath):
book=xlwt.Workbook(encoding="utf-8",style_compression=0)#创建woorkbook对象
sheet=book.add_sheet('top250',cell_overwrite_ok=True)# 创建工作表
col = ('电影详情链接',"图片链接","影片中文名","影片外国名","评分","评价数","概况","相关信息")
for i in range(0,8):
sheet.write(0,i,col[i])#列名
for i in range(0,250):
print("第%d条"%i)
data = datalist[i]
for j in range(0,8):
sheet.write(i+1,j,data[j])#数据
book.save("student.xls")#保存
def saveData2DB(datalist,dbpath):
init_db(dbpath)
conn = sqlite3.connect(dbpath)
cur = conn.cursor()
for data in datalist:
for index in range(len(data)):
if index == 4 or index == 5:
continue
data[index] = '"'+data[index]+'"'
sql = '''
insert into movie250(
info_link,pic_link,cname,ename,score,rated,instroduction,info)
values (%s)'''%",".join(data)
#print(sql)
cur.execute(sql)
conn.commit()
cur.close()
conn.close()
#cur.execute(sql)
#print("")
def init_db(dbpath):
sql = '''
create table movie250
(
id integer primary key autoincrement,
info_link text,
pic_link text,
cname varchar,
ename varchar,
score numeric,
rated numeric,
instroduction text,
info text
)
''' #创建数据表
conn = sqlite3.connect(dbpath)
cursor=conn.cursor()
cursor.execute(sql)
conn.commit()
conn.close()
if __name__=="__main__": #当程序执行
#调用函数
main()
#init_db("movietest.db")
以上代码是学习时跟着老师写的，已经理解
接下来是根据自己的理解写的代码，爬取我喜欢看的小说
import os
import re
import time
import bs4
import requests
import random
headers = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36 Edg/108.0.1462.54"}
# 代理列表
user_agent_list = [
"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36",
"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36",
"Mozilla/5.0 (Windows NT 10.0; …) Gecko/20100101 Firefox/61.0",
"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36",
"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)",
"Mozilla/5.0 (Macintosh; U; PPC Mac OS X 10.5; en-US; rv:1.9.2.15) Gecko/20110303 Firefox/3.6.15",
]
# 随机选取一个代理，总是使用同一个容易被封
headers['User-Agent'] = random.choice(user_agent_list)
def ask(url):
res=requests.get(url,headers=headers)
res.encoding="utf-8"
if res.status_code !=200:
print("爬取失败")
html=res.text
soup=bs4.BeautifulSoup(html,"html.parser")
a=soup.find('div',id="bookRead")
b=soup.find('div',id="article")
title=re.findall(r'<h1 class="title" data-v-6deb38b2="">(.*?)</h1>',str(a))[0].strip()
path='./小说/'+title+'.txt'
if not os.path.exists('./小说'):
os.mkdir('./小说')
with open(path,'w') as f:
f.write(str(b))
f.close()
if __name__=="__main__":
i = 0 # 已下载章节数
j = 0 # 偏移量，一般来说加1 但存在无效链接 需要加n（n>1）
for i in range(1,10):
url = 'https://book.qq.com/book-read/15394024/' + str(j)
try:
ask(url)
except Exception as e: # 捕获异常并打印异常信息，跳过该url
print(url + ' ' + str(e))
j = j + 1
continue
print(url + ' 第' + str(i) + '章下载完成')
# 后移下载下一章节
i = i + 1
j = j + 1
time.sleep(6)
print('**下载完成**')
170
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
