python爬虫教程

python是一个非常火热的编程语言，被称为胶水语言，可以应用于诸多领域，在爬虫领域根据它强大的生态更是有其独特的优势。

        爬虫的意义就是将网页数据进行存储，自定处理，想要学习爬虫首先要了解一点html相关知识，至少能够看懂网页数据标签。下面我们就进行豆瓣250网站的数据爬取。将数据保存到本地excel文件中。

首先我们要知道爬虫的基本思路

1. 要指定网址，有需要爬的源。
2. 要明确想要得到什么数据，即网页中的标签存储什么数据，要懂。
3. 要知道建立什么样的规则去爬取网页数据。即通过正则表达式去建立规则。
4. 要懂技术，懂编程，看得懂python代码，起码要懂基础语法。

下面详细介绍python爬虫需要用到的模块

1. BeautifulSoup:它是一个工具箱，通过解析文档为用户提供需要抓取的数据，
2. re：正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个"规则字符串"，这个"规则字符串"用来表达对字符串的一种过滤逻辑。
3. urllib：是 Python 中的一个功能强大、用于操作 URL，并在做爬虫的时候经常要用到的库。
4. xlwt：是python对Excel表格的操作
5. sqllite3：一种轻便的数据库

工具：PyCharm:一种非常好用的针对python的编辑器：建议使用社区版因为免费。

        下面开始正式的梳理一下爬虫步骤，首先全局变量baseurl接收要爬取的网址，及豆瓣网。savepath是要保存数据到本地的文件名。datalist是列表用来接收获取到的网页数据。savedata是具体的保存数据的函数。getData是获取的数据函数。askURL是解析网页的函数。模拟浏览器与网站进行交互，这是最关键的，只有成功与爬取源进行交互，即取得允许爬取的资格才能够进行对数据的操作，因为有些网站的数据是机密，只能浏览，不允许被其他渠道传播的，有些网站还存在反爬虫机制，所以，爬虫是有危险的。想要成功获得信任资格，就要模拟的浏览器和你自己本身的浏览器一模一样才行，即建立一个浏览器的头部信息，以及浏览器的标识，还有编码规范，这点也是很重要的。一下是所有相关代码，至于代码详解不做解释，

#Author:soul
#codeing=utf-8
#@Time:2021/3/28 17:36
#@Author:Administrator
#@Site:demo.py
#@Software:PyCharm
import sys
from bs4 import BeautifulSoup  #网页解析
import re    #正则表达式
import urllib.request,urllib.error
import xlwt #进行excel操作
import sqlite3 #进行数据库操作

def main():
    # 爬取网页
    baseurl="https://movie.douban.com/top250?start=0"
    savepath="豆瓣电影250.xls"
    datalist=getData(baseurl)
    saveData(datalist,savepath)
    askURL(baseurl)

findLink=re.compile(r'<a href="(.*?)">')#创建正则表达式规则
#提炼影片图片
findImgSrc=re.compile(r'<img.*src="(.*?)"',re.S)#re.S让换行符包含在字符中
#影片片名
findTitle=re.compile(r'<span class="title">(.*)</span>')
#影片的评分
findRating=re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
#找到评价人数
findJudge=re.compile(r'<span>(\d*)人评价</span>')
#找到概况
findInq=re.compile(r'<span class="inq>(.*)</span>')
#找到影片相关内容
findBd=re.compile(r'<p class="">(.*?)</p>',re.S)
#
   #逐一解析数据
   #保存数据

#获取数据
def askURL(url):
    head={ #模拟浏览器头部信息
    "User-Agent" :"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:87.0) Gecko/20100101 Firefox/87.0"
    }
    request=urllib.request.Request(url,headers=head)#发送请求
    try:
        response=urllib.request.urlopen(request) #获取响应
        html=response.read().decode("utf-8")
        #print(html)
    except urllib.error.URLError as e:
        if hasattr(e,"code"):
            print(e.code)
        if hasattr(e,"reason"):
            print(e.reason)
    return html

#爬取网页
def getData(baseurl):
    datalist = []
    for i in range(0, 10): #调用获取页面信息的函数10次
        url = baseurl + str(i * 25)
        html = askURL(url)  #保存获取到的源码+
    #逐一解析数据
        soup = BeautifulSoup(html,"html.parser")
        for item in soup.find_all('div',class_="item"): #解析匹配
            #print(item)    #查看电影item信息

            data=[]  #保存一部电影的所有信息
            item=str(item)
            #break
          #获取影片详情的连接
            link=re.findall(findLink,item)[0]
            data.append(link)
            imgSrc=re.findall(findImgSrc,item)[0]
            data.append(imgSrc)
            title=re.findall(findTitle,item)
            if(len(title)==2):
                ctitle=title[0]
                data.append(ctitle)
                otitle=title[1].replace("/","")
                data.append(otitle)
            else:
                data.append(title[0])
                data.append('')
            rating=re.findall(findRating,item)[0]
            data.append(rating)
            judge=re.findall(findJudge,item)[0]
            data.append(judge)
            inq=re.findall(findInq,item)
            if(len(inq)!=0):
                inq=inq[0].replace("。","")
                data.append(inq)
            else:
                data.append(" ")
            bd=re.findall(findBd,item)[0]
            bd=re.sub('<br>(\s+)?/>(\s+)?'," ",bd)  #去掉br
            bd=re.sub('/'," ",bd)  #替换
            data.append(bd.strip())  #去掉前后的空格
            datalist.append(data)   #处理好一部电影信息放入datalist中
         #   print(link)
    print(datalist)
    return datalist




#保存数据
def saveData(datalist,savepath):
    print("保存中.....")
    workbook = xlwt.Workbook(encoding="utf-8",style_compression=0)  # 创建workbook对象
    worksheet = workbook.add_sheet('豆瓣电影top250',cell_overwrite_ok=True)  # 创建工作表
    col=("电影链接","图片链接","影片中文名","影片外国名","评分","评价数","概况","相关信息")
    for i in range(0, 8):
        worksheet.write(0,i,col[i])
    for i in range(0,250):
        print("第%d条"%(i+1))
        data = datalist[i]
        for j in range(0,8):
            worksheet.write(i+1,j,data[j]) #写入数据
    workbook.save(savepath)
    print("保存完毕")


if __name__ == "__main__":
    main()