豆瓣是用python写的吗,用python分析豆瓣短评(一）

这篇文章主要是用来记录自己用python编写爬虫以及数据分析代码，简单比较《你的名字。》和《超时空同居》两部电影的豆瓣评论。两部电影都是包含穿越元素的爱情片，初次在影院观看都带给笔者蛮多惊喜，不过显然前者在画面、音乐、故事等方面还是要胜过国产片，也成了笔者深夜写代码时又一部背景片。做这个小项目，也是想练习一下python与数据分析相关的几个库，增加一些实战经验。不足之处，日后继续改进。

一、主要用到的python库

import requests

from lxml import etree

import re

from pymongo import MongoClient

import time

二、网页爬虫流程

进入起始页，解析页面元素

保存每页评论(共20条)内容至mongoDB

判断是否存在“下一页”的链接，若有，则翻页进入下一页，继续解析

若没有下一页，爬虫停止。

目前豆瓣对用户可浏览的评论数进行了限制，只允许浏览500条。因此，爬取的数据最多只有500条记录

三、简要分析豆瓣电影短评页面

电影短评示例

豆瓣电影短评目前分为热门、最新、好友三类。“热门”类是列出被标记“有用”次数最多的评论。选择这个分类也能更好代表用户对一部电影的评价。

每一条评论包含了用户名称、打星情况、评论日期、评论内容以及被标记有用次数几个信息，相应爬虫代码为：

def get_comments(self, cur_url):

'''

从当前html页面解析出20条评论的信息,并存入mongo数据库。获取每条评论的id,日期，评论内容，有用数量

:param cur_url:待爬取页面url

:return:当前页面的20条评论数据信息

'''

print('解析页面:%s' % cur_url)

html = self.get_html(cur_url)

commList = html.xpath('//div[@class="comment-item"]')

data = []

for item in commList:

user_id = item.attrib['data-cid']

vote = item.xpath('.//span[@class="votes"]')[0].text.strip()

user_name = item.xpath('.//span[@class="comment-info"]/a')[0].text.strip()

status = item.xpath('.//span[@class="comment-info"]//span[1]/text()')[0].strip()

if len(item.xpath('.//span[@class="comment-info"]//span')) == 3:

rating = item.xpath('.//span[@class="comment-info"]//span[2]/@title')[0].strip()

pub_time = item.xpath('.//span[@class="comment-info"]//span[3]/text()')[0].strip()

else:

rating = ''

pub_time = item.xpath('.//span[@class="comment-info"]//span[2]/text()')[0].strip()

comment_lines = item.xpath('.//p/text()')[0].strip()

comment_info = {

'user_id': user_id,

'vote': vote,

'user_name': user_name,

'status': status,

'rating': rating,

'pub_time': pub_time,

'comment_lines': comment_lines

}

data.append(comment_info)

return data

这里用到xpath语法定位爬取的元素.笔者觉得相比于BeautifulSoup库需要分析上下节点之间的关系，用lxml库解析网页然后使用xpath技术会更加方便。

四、利用pymongo库将数据存入mongoDB中

def saveData(self, data):

'''

:param data:

:param db:

:return:

'''

client = MongoClient()

mongo_DB = self.db

db = client[mongo_DB]

col = db[self.collection]

try:

if col.insert_many(data):

print('保存成功！')

except Exception:

print('保存失败。')

return None

接下来用pandas库和matplotlib库进行数据分析及展示