python基础阶段项目练习

写一个网络爬虫程序,爬取目标网站数据，关键项不能少于5项

在 上述条件下实现存储数据到数据库，可以进行增删改查操作

import requests
import re

import xlwt
from bs4 import BeautifulSoup

url="https://www.dygod.net/html/gndy/dyzz/"
# url1="https://www.dygod.net/html/gndy/dyzz/index_2.html"

hd = {
 # 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'
 'User-Agent': 'Mozilla/4.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36'
}
def getmanget(linkurl):
    res=requests.get(linkurl,headers=hd)
    res.encoding=res.apparent_encoding
    soup=BeautifulSoup(res.text,"html.parser")
    ret=soup.find_all("a")
    for n in ret:
        if "magnet" in str(n.string):
            # print(n.string)
            return  n.string
    return None

def insertDB():
    pass

def saveExcel(worksheet,count,lst):
    for i in range(6):
        worksheet.write(count,i,lst[i])


# 正式代码开始
count=0#记录爬取电影的数量
total=[]#用来储存记录信息的列表
workbook=xlwt.Workbook(encoding="utf-8")#创建wookbook对象
worksheet=workbook.add_sheet('sheet1')#创建工作表

for i in range(2,3):
    url="https://www.dygod.net/html/gndy/dyzz/index_"+str(i)+".html"
    # print(url)
    res=requests.get(url,headers=hd)
    res.encoding=res.apparent_encoding
    # print(res.text)

    soup=BeautifulSoup(res.text,"html.parser")
    print(soup.title,type(soup.title))
    ret=soup.find_all(class_="tbspan",style="margin-top:6px")

    for x in ret:
        info=[]
        # print(x.find("a").string)
        info.append(x.find("a").string)

        pat=re.compile(r"◎译　　名(.*)\n")
        ret=re.findall(pat,str(x))
        for n in ret:
         n=n.replace(u'\u3000',u'')
         print("◎译　　名:",n)
         info.append(str(n))

         pat = re.compile(r"◎年　　代(.*)\n")
         ret = re.findall(pat, str(x))
         for n in ret:
             n = n.replace(u'\u3000', u'')
             print("◎年　　代:", n)
             info.append(str(n))


         pat = re.compile(r"◎产　　地(.*)\n")
         ret = re.findall(pat, str(x))
         for n in ret:
             n = n.replace(u'\u3000', u'')
             print("◎产　　地:", n)
             info.append(str(n).split("/")[0])

         pat = re.compile(r"◎类　　别(.*)\n")
         ret = re.findall(pat, str(x))
         for n in ret:
             n = n.replace(u'\u3000', u'')
             print("◎类　　别:", n)
             info.append(str(n).split("/")[0])


         linkurl="https://www.dygod.net/" + x.find("a").get("href")
         manget=getmanget(linkurl)
         if manget:
             print("下载地址：",manget)
             info.append(str(manget))

         # print(count,info)
         saveExcel(worksheet,count,info)
         count += 1
         print("="*100)

workbook.save("movie.xls")
print(count)

  运行结果为

 

最后实现扩展：将库中数据进行可视化展示。

代码如下：

import matplotlib.pyplot as plt
import numpy as np

#线图
# figure
figure=plt.figure()
subplot=figure.add_subplot(2,2,1)
subplot.plot(np.arange(0,100),np.arange(1,101))

# 柱状图
subplot2=figure.add_subplot(2,2,2)#画布2*2中第二个右上角的位置
data=np.array(((1,'变形金刚','动作片','美国','中英双字','2023',9.0),
               (2,'28周后','科幻片','英国','蓝光中英双字','2007',9.0),
               (3,'红尘1945','电影','中国大陆','中英双字','2023',7.0),
               (4,'鼠来宝4','喜剧片','美国','蓝光中英双字','2015',7.0),
               (5,'小行星都市','喜剧片','美国','中英双字','2023',9.0),
               (6,'漫游在蓝色草原','剧情片','中国大陆','国语中字','2022',4.0),
               (7,'花鼠明星俱乐部3','喜剧片','美国','蓝光中英双字','2011',6.0),
               (8,'猎首密令','动作片','韩国','中英双字','2022',8.0),
               (9,'鼠来宝2','喜剧片','美国','韩语中字','2009',9.0),
               (10,'犯罪都市2','动作片','韩国','韩语中字','2023',9.0),
               (11,'花鼠明星俱乐部','喜剧片','美国','中英双字','2007',7.0),
               (12,'魔幻王国：黎明行者号','奇幻片','美国','中英双字','2010',8.0),
               (13,'魔幻王国：卡斯柏王子','奇幻片','美国','中英双字','2008',9.0),
               (14,'铃芽的门锁','电影','日本','日语中字','2022',9.0),
               (15,'魔幻王国：狮子','奇幻片','英国','中英双字','2005',6.0),
               (16,'星际异攻队2','动作片','美国','蓝光中英双字','2017',4.0),
               (17,'银河守护队(港)','科幻片','美国','中英双字','2014',5.0),
               (18,'小屁孩日记','喜剧片','美国','中英双字','2017',6.0),
               (19,'逊咖冒险王3','喜剧片','美国','中英双字','2012',9.0),
               (20,'小孱头日记2','电影','美国','中英双字','2011',9.0),
               (21,'逊咖冒险王','喜剧片','中国大陆','中英双字','2010',9.0),
               (22,'秘密交通站','动作片','美国','中英双字','2023',7.0),
               (23,'年少有为','动作片','中国大陆','中英双字','2010',8.0),
               (24,'圣斗士星矢','科幻片','美国','中英双字','2023',9.0)))
data1=data.T
print(data1)

xlabel=data[2]
print(data)

#统计剧情片
new1=(data=="剧情片")
juqingpian=np.sum(new1)

#统计科幻片
new2=(data=="科幻片")
kehuanpian=np.sum(new2)

#统计奇幻片
new3=(data=="奇幻片")
qihuanpian=np.sum(new3)
#统计动作片
new4=(data=="动作片")
dongzuopian=np.sum(new4)

#统计喜剧片
new5=(data=="喜剧片")
xijupian=np.sum(new5)

#统计'电影'
new6=(data=="电影")
dianying=np.sum(new6)

xlist=["剧情片","科幻片","喜剧片","电影","奇幻片","动作片"]
ylist=[juqingpian,kehuanpian,xijupian,dianying,qihuanpian,dongzuopian]

x=[i for i in np.array(xlist)]
y=[i for i in np.array(ylist)]
# y=data1[0]
print(x)
print(y)

bars=subplot2.bar(x,y,width=0.3)
# subplot2=figure.add_subplot(2,2,2).subplot()
subplot2.set_ylabel('total-number')
subplot2.set_ylabel('type',bbox=dict(facecolor='y',edgecolor='green',alpha=0.65))

subplot2.set_xticks(x)
subplot2.set_xticklabels(x)

# subplot2.title('Type-Film')
subplot2.grid(linestyle='--')

# 设置颜色
i=0
for bar in bars:
    bar.set_color('#'+str(205001+i))
    i+=119500
for x,y in zip(x,y):
    subplot2.text(x,y,'%s'% np.float64(y),ha="center",va="bottom")

# 3.饼图
# 用来正常显示中文
plt.rcParams['font.sans-serif']=['SimHei']
# 用来正常显示符号
plt.rcParams['axes.unicode_minus']=False
subplot3=figure.add_subplot(2,2,3)

x=[i for i in np.array(xlist)]
y=[i for i in np.array(ylist)]

data=[temp for temp in (np.array(y)/np.sum(np.array(y)))]
print(data,'666')
labels=['%.2f %%' % (x*100) for x in data]

subplot3.pie(data,colors=['#50F4FF','#14FF4C',
                        '#FF120C','#DC460C',
                          '#2365E1','#FFFF5A'],labels=labels)

plt.title('占比类型',bbox=dict(facecolor='y',edgecolor='green',alpha=0.65))

#点图
subplot4=figure.add_subplot(2,2,4)
x=np.random.randint(1,100,100)
y=np.random.randint(1,100,100)

subplot4.scatter(x,y,s=30,c=x,alpha=0.8,marker='.')

plt.show()

运行结果如下：