爬虫大作业

最新推荐文章于 2022-07-22 18:40:40 发布
最新推荐文章于 2022-07-22 18:40:40 发布
阅读量348 收藏 1
点赞数
文章标签： 爬虫 开发工具 大数据
原文链接：http://www.cnblogs.com/cgz123/p/8906911.html
版权

通过 爬取2345电影网的电影信息 ，通过电影的类型和评分分别生成相应的词云  进行数据分析

一、准备过程

首先打开2345电影网的热播电影区，网址是https://dianying.2345.com/list/------.html

 

在这里可以通过审查模式看到第一页的详细信息，而目的则是通过爬取热播页面的每个电影的评分 和 类型来分析最近影迷的观影需求

环境如下：

　　python3.6.2　　　　PyCharm

　　Windows7　　第三方库（jieba,wordcloud，bs4，Requests，re，wordcloud)

二、代码

1.用requests库和BeautifulSoup库，爬取电影网当前页面的每个电影的电影名、评分、简介、地区、年代、链接等，将获取电影详情的代码定义成一个函数 def getNewDetail(newsUrl):

 

import  requests
import re
from bs4 import BeautifulSoup
from datetime import datetime
import pandas
new={}
def getNewsDetail(newsUrl):
   resd = requests.get(newsUrl)
   resd.encoding = 'gb2312'
   soupd = BeautifulSoup(resd.text, 'html.parser')
   print(newsUrl)
   news = {}
   news['title']=soupd.select('.tit')[0].select('h1')[0].text     # 标题
   news['emSorce']=float(soupd.select('.tit')[0].select('.pTxt')[0].text.split('\ue60e')[0].rstrip('分'))   #评分
   # s=soupd.select('.li_4')[1].text.split()[1:]
   # if(len(s)>0):
   #    str=''
   #    for i in s:
   #       str=str+i
   #    print(str)
   # writeNewsDetail(str)
   news['content:']=soupd.select('.sAll')[0].text.strip()    #内容
   s = soupd.select('.wholeTxt')[0].text
   news['area'] = s[s.find('地区：'):s.find('语言：')].split()[1]  # 地区

   news['tit']=soupd.select('.li_4')[3].text.strip().split()[1]  #年代
   if len(soupd.select('.li_4')[3].text)>0:
      news['tit']=soupd.select('.li_4')[3].text.strip().split()[1]
   else:
      news['tit']=='none'
   new[soupd.select('.tit')[0].select('h1')[0].text ]= news['emSorce']

   return news

 

2.取出一个电影列表页的全部电影 包装成函数def getListPage(pageUrl):

 

def getListPage(pageUrl):
   res = requests.get(pageUrl)
   res.encoding = 'gb2312'
   soup = BeautifulSoup(res.text, 'html.parser')
   newslist = []
   for i in soup.select('.v_tb')[0].select('li'):
      if (len(i.select('a')) > 0):
         newsUrl = 'https:' + i.select('a')[0].attrs['href']
         newslist.append(getNewsDetail(newsUrl))
   return newslist

 

3.获取总的页数，算出电影总页数包装成函数def getPageN():

 

def getPageN():
   res = requests.get('https://dianying.2345.com/list/-------.html')
   res.encoding = 'gb2312'
   soup = BeautifulSoup(res.text, 'html.parser')
   pagenumber=int(soup.select('.v_page')[0].text.split('...')[1].rstrip('>')[0:3])
   return pagenumber

 

4.获取全部电影的详情信息（爬取页面前5页，原因在下方）

 

newstotal=[]
pageUrl='https://dianying.2345.com/list/-------.html'
newstotal.extend(getListPage(pageUrl))
n=getPageN()
for i in range(2,4):
   listPageUrl = 'https://dianying.2345.com/list/-------{}.html'.format(i)
   newstotal.extend(getListPage(listPageUrl))

 

df=pandas.DataFrame(newstotal)
dfs=df.sort_index(by='emSorce',ascending=False)
dfsn=dfs[['title','emSorce']]
dfsn.to_excel('gzcc.xlsx',encoding='utf-8')

将爬取到所有信息通过pandas根据评分排序，然后只爬取'title'和'emScore'两列的信息，并保存至excel表中

将爬取到的电影类别通过构造方法writeNewsDetail(content)写入到文本gzccnews.txt中，通过jieba分词，结果存至jieduo.txt中

def writeNewsDetail(content):
    f=open('gzccnews.txt','a',encoding='utf-8')
    f.write(content)
    f.close()
import jieba
f=open('gzccnews.txt','r',encoding="UTF-8")
str1=f.read()
f.close()
str2=list(jieba.cut(str1))
countdict = {}
for i in str2:
    countdict[i] = str2.count(i)
dictList = list(countdict.items())
dictList.sort(key = lambda x:x[1],reverse = True)
f = open("E:/jieduo.txt", "a")
for i in range(30):
 f.write('\n' + dictList[i][0] + " " + str(dictList[i][1]))
f.close()

三、生成词云

通过导入wordcloud的包，来生成词云

 

import wordcloud
from PIL import Image,ImageSequence
import numpy as np
import matplotlib.pyplot as plt
from wordcloud import WordCloud,ImageColorGenerator
image= Image.open('./63f7756ec660349a67874cfae7fc8643.jpg')
graph = np.array(image)
font=r'C:\Windows\Fonts\simhei.TTF'
wc = WordCloud(font_path=font,background_color='White',max_words=50,mask=graph)
wc.generate_from_frequencies(countdict)
image_color = ImageColorGenerator(graph)
plt.imshow(wc)
plt.axis("off")
plt.show()

选择的图片：

生成词云的结果：

1.通过评分生成：

 

2.通过类型生成：

四、遇到的问题及解决方案

1.在爬取电影信息的时候，爬取电影年代的时候，会因为当前列表中当前列爬到某一处时，列表中的值没有，会报index out of range，上网搜索并不是下标越界的原因，这时候就尝试对当前的空值进行判断，如下图

 

# news['tit']=soupd.select('.li_4')[3].text.strip().split()[1]  #年代
   # if len(soupd.select('.li_4')[3].text.strip().split())==1:
   #    news['tit']=soupd.select('.li_4')[3].text.strip().split()[1]
   # else:
   #    news['tit']=='none'

 

 在加了判断后，可以输出一部分，但是在爬取所有页的时候还是会报错，找不到相应的错误信息，只好爬取前面近期的几页进行分析，一共140多部电影信息

2.在导入wordcloud这个包的时候，会遇到很多问题

首先通过使用pip install wordcloud这个方法在全局进行包的下载，可是最后会报错误error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build Tools”: http://landinghub.visualstudio.com/visual-cpp-build-tools 

这需要我们去下载VS2017中的工具包，但是网上说文件较大，所以放弃。

之后尝试去https://www.lfd.uci.edu/~gohlke/pythonlibs/#wordcloud下载whl文件，然后安装。

下载对应的python版本进行安装，如我的就下载wordcloud-1.4.1-cp36-cp36m-win32.whl,wordcloud-1.4.1-cp36-cp36m-win_amd64

两个文件都放到项目目录中，两种文件都尝试安装

通过cd到这个文件的目录中，通过pip install wordcloud-1.4.1-cp36-cp36m-win_amd64,进行导入

但是两个尝试后只有win32的能导入，64位的不支持，所以最后只能将下好的wordcloud放到项目lib中，在Pycharm中import wordcloud,最后成功

 五、数据分析与结论

  通过对词云的查看，可以看出最近一年的影迷对于电影类型为动作、喜剧、爱情、犯罪的题材的电影喜欢，而对恐怖、历史、灾难等题材的电影选择很少，这说明观看电影选择的大多数是有关有趣一点的，而对于偏阴暗面的电影少选择，这样在拍摄电影时可以通过受众程度来拍摄。

  在对最近热播的电影生成的词云来看，评分高的电影跟类型有很大的关系，所以影迷可以通过选择评分高的电影进行观看。

  在这次作业中，我了解并实现如何爬取一个网站的有用信息，如何对爬取的信息分析并得到结论，但是对于大数据技术深度的技术并不了解，基础的知识还需要我不断加深巩固。

六、所有代码

 

# 大数据大作业
# 爬取2345电影网中的电影评分最多的电影

import  requests
import re
from bs4 import BeautifulSoup
from datetime import datetime
import pandas
new={}

def writeNewsDetail(content):
    f=open('gzccnews.txt','a',encoding='utf-8')
    f.write(content)
    f.close()
def getNewsDetail(newsUrl):
   resd = requests.get(newsUrl)
   resd.encoding = 'gb2312'
   soupd = BeautifulSoup(resd.text, 'html.parser')
   # print(newsUrl)
   news = {}
   news['title']=soupd.select('.tit')[0].select('h1')[0].text     # 标题
   news['emSorce']=float(soupd.select('.tit')[0].select('.pTxt')[0].text.split('\ue60e')[0].rstrip('分'))   #评分
   s=soupd.select('.li_4')[1].text.split()[1:]
   if(len(s)>0):
      str=''
      for i in s:
         str=str+i
      # print(str)
   writeNewsDetail(str)
   # news['content:']=soupd.select('.sAll')[0].text.strip()    #内容
   # s = soupd.select('.wholeTxt')[0].text
   # news['area'] = s[s.find('地区：'):s.find('语言：')].split()[1]  # 地区

   # news['tit']=soupd.select('.li_4')[3].text.strip().split()[1]  #年代
   # if len(soupd.select('.li_4')[3].text)>0:
   #    news['tit']=soupd.select('.li_4')[3].text.strip().split()[1]
   # else:
   #    news['tit']=='none'
   new[soupd.select('.tit')[0].select('h1')[0].text ]= news['emSorce']

   return news
   # print(news)

def getListPage(pageUrl):
   res = requests.get(pageUrl)
   res.encoding = 'gb2312'
   soup = BeautifulSoup(res.text, 'html.parser')
   newslist = []
   for i in soup.select('.v_tb')[0].select('li'):
      if (len(i.select('a')) > 0):
         newsUrl = 'https:' + i.select('a')[0].attrs['href']
         newslist.append(getNewsDetail(newsUrl))
   return newslist

def getPageN():
   res = requests.get('https://dianying.2345.com/list/-------.html')
   res.encoding = 'gb2312'
   soup = BeautifulSoup(res.text, 'html.parser')
   pagenumber=int(soup.select('.v_page')[0].text.split('...')[1].rstrip('>')[0:3])
   return pagenumber

newstotal=[]
pageUrl='https://dianying.2345.com/list/-------.html'
newstotal.extend(getListPage(pageUrl))
n=getPageN()
for i in range(2,4):
   listPageUrl = 'https://dianying.2345.com/list/-------{}.html'.format(i)
   getListPage(listPageUrl)

# getListPage(pageUrl)
# df=pandas.DataFrame(newstotal)
# dfs=df.sort_index(by='emSorce',ascending=False)
# dfsn=dfs[['title','emSorce']]
# dfsn.to_excel('gzcc.xlsx',encoding='utf-8')

# import jieba
# f=open('gzccnews.txt','r',encoding="UTF-8")
# str1=f.read()
# f.close()
# str2=list(jieba.cut(str1))
# countdict = {}
# for i in str2:
#     countdict[i] = str2.count(i)
# dictList = list(countdict.items())
# dictList.sort(key = lambda x:x[1],reverse = True)
# f = open("E:/jieduo.txt", "a")
# for i in range(30):
#  f.write('\n' + dictList[i][0] + " " + str(dictList[i][1]))
# f.close()

import wordcloud
from PIL import Image,ImageSequence
import numpy as np
import matplotlib.pyplot as plt
from wordcloud import WordCloud,ImageColorGenerator
image= Image.open('./63f7756ec660349a67874cfae7fc8643.jpg')
graph = np.array(image)
font=r'C:\Windows\Fonts\simhei.TTF'
wc = WordCloud(font_path=font,background_color='White',max_words=50,mask=graph)
wc.generate_from_frequencies(new)
image_color = ImageColorGenerator(graph)
plt.imshow(wc)
plt.axis("off")
plt.show()

 

转载于:https://www.cnblogs.com/cgz123/p/8906911.html

weixin_30764771
关注
Python大作业-网络爬虫项目.zip
12-19
Python期末作业
爬虫大作业1
08-03
Python 爬虫大作业是针对数据处理的一次综合实践，旨在通过爬取、清洗、处理和分析数据，提升学生对数据操作的理解和技能。在这个项目中，参与的学生包括理学院的梁晓奇和武思齐，他们分别属于2017214102班和...
爬虫 大作业
weixin_33928137的博客
04-24 332
1.选一个自己感兴趣的主题或网站。(所有同学不能雷同) 2.用python 编写爬虫程序，从网络上爬取相关主题的数据。 3.对爬了的数据进行文本分析，生成词云。 4.对文本分析结果进行解释说明。 5.写一篇完整的博客，描述上述实现过程、遇到的问题及解决办法、数据分析思想及结论。 6.最后提交爬取的全部数据、爬虫及数据分析源代码。 import request...
【大数据应用技术】作业八｜爬虫综合大作业（上）
weixin_30955617的博客
04-28 949
本次作业的要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3075 前言 本次作业是爬取CBO中国票房2010-2019年每年年度票房排名前25的电影，通过爬取电影的名称、类型、总票房（万）、平均票价、均场人次、国家及地区以及上映时间等数据并对其进行数据分析从而得出相应结论。 网页爬虫 爬虫的代码如下所示： ...
python爬虫大作业报告+代码
12-30
（1）实现时需要至少使用图形界面、多线程、文件操作、数据库编程、网页爬虫、统计 分析并绘图（或数据挖掘）六项技术，缺一不可。少一项则直接影响是否及格。 （2）系统要具有一定复杂度。应用系统的业务流程不能...
python爬虫大作业，爬取豆瓣影评
最新发布
01-11
1)数据描述 数据来源：豆瓣最受欢迎的影评 数据获取：豆瓣最受欢迎的影评并将获取的这些信息（评论链接、电影名、电影详细地址、评论标题以及评论地址等）写入excel表格，同时也会生成词云。 2)数据获取步骤 ...
Python大作业--爬虫（完美应付大作业）.zip
05-29
Python大作业--爬虫（完美应付大作业），Python大作业--爬虫（完美应付大作业）。 Python大作业：微信爬虫 程序功能：爬取指定公众号的微信文章标题、作者、链接、图标文件，暂不支持保存成pdf（时间有限，保存...
Python大作业：爬虫（完美应付大作业）.zip
05-29
python大作业--爬虫（完美应付大作业），Python大作业：爬虫（完美应付大作业）。 python大作业，简易爬虫 2020-2021学年上学期python大作业，爬取https://www.shicimingju.com ，模拟网站的7种搜索。 用pyqt5做...
Python爬虫数据可视化分析大作业.zip
05-29
Python爬虫数据可视化分析大作业，Python疫情大数据分析，涉及网络爬虫、可视化分析、GIS地图、情感分析、舆情分析、主题挖掘、威胁情报溯源、知识图谱、预测预警及AI和NLP应用等。
Python大作业-网络爬虫程序
热门推荐
XiuMu的博客
07-22 1万+
本文章介绍了一个Python大作业(课程设计)-网络爬虫程序，爬取“Bangumi-我看过的动画”，文章详细展示了程序功能及程序代码。
Java实现的网络爬虫程序，简单易懂无框架（我的网络大作业）
bonnshore的专栏
06-17 3548
我要用Java做一个ftp的服务器，有时间的话会加上流量控制，当然我自己也不知道能不能成功，应该问题不会太大吧。 当然我做完后，会把实现的工程文件传上去。 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~分割~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 我不做ftp了，突然就没有了激情啥的，我寻思寻思网络爬虫吧。 ~~~~~~~~~~~~~~
Python爬虫大作业：实现多功能爬虫系统
资源摘要信息: "Python爬虫大作业报告+代码" 知识点概述： 本大作业报告和代码项目是以Python语言为基础，涵盖多个技术层面，包括图形用户界面(GUI)开发、多线程编程、文件系统操作、数据库编程、网络爬虫技术、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值