一.把爬取的内容保存取MySQL数据库
代码如下:
漫威电影里面我最喜欢的就是毒液了,所以这次我选择了爬取毒液的评论。猫眼这里有用户评论的相关数据,我们选取了地理位置、评论内容、用户名,通过python的requests模块开始爬取。导入本次爬取需要的包,开始抓取数据。
def get_data(url): headers = { 'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1'} html = requests.get(url, headers=headers) if html.status_code ==200: return html.content else: return none
其次是解析Json数据,将评论数据中用户名、城市名、评论内容、评分依次解析出来。代码如下:
def parse_data(html): json_data = json.loads(html)['cmts'] comments = [] try: for item in json_data: comment = { 'nickName': item['nickName'], 'cityName': item['cityName'] if 'cityName' in item else '', 'content': item['content'].strip().replace('\n', ''), 'score': item['score'] } comments.append(comment) return comments except Exception as e: print(e)
接着我们将获取到的数据保存到本地,并转化为Excel,方便到时候生成云词。
def save(): start_time = datetime.now().strftime('%Y-%m-%d %H:%M:%S') while start_time > end_time: url = 'http://m.maoyan.com/mmdb/comments/movie/42964.json?_v_=yes&offset=15&startTime=' + start_time.replace( ' ', '%20') html = None try: html = get_data(url) except Exception as e: time.sleep(0.5) html = get_data(url) else: time.sleep(0.1) comments =parse_data(html) start_time = comments[14]['startTime'] print(start_time) start_time = datetime.strptime(start_time, '%Y-%m-%d %H:%M:%S') + timedelta(seconds=-1) start_time = datetime.strftime(start_time, '%Y-%m-%d %H:%M:%S') for item in comments: print(item) with open('files/comments.txt', 'a', encoding='utf-8')as f: f.write(item['nickName']+','+item['cityName'] +','+item['content']+','+str(item['score'])+ item['startTime'] + '\n') if __name__ == '__main__': url = 'http://m.maoyan.com/mmdb/comments/movie/42964.json?_v_=yes&offset=15&startTime=2018-11-19%2019%3A36%3A43' html = get_data(url) reusults = parse_data(html) save()
以下是爬取爬取猫眼电影网站上的评论保存到Excel文件里,如下图:
将采集到的数据可视化,采用pyecharts,按照地理位置制作了毒液观众群的分布图。代码如下:
geo = Geo('《毒液》观众位置分布', '数据来源:猫眼-Ryan采集', **style.init_style) attr, value = geo.cast(data) geo.add('', attr, value, visual_range=[0, 1000], visual_text_color='#fff', symbol_size=15, is_visualmap=True, is_piecewise=False, visual_split_number=10) geo.render('观众位置分布-地理坐标图.html') data_top20 = Counter(cities).most_common(20) bar = Bar('《毒液》观众来源排行TOP20', '数据来源:猫眼', title_pos='center', width=1200, height=600) attr, value = bar.cast(data_top20) bar.add('', attr, value, is_visualmap=True, visual_range=[0, 3500], visual_text_color='#fff', is_more_utils=True, is_label_show=True) bar.render('观众来源排行-柱状图.html')
从可视化结果来看,“毒液”观影人群以东部城市为主,观影的top5城市为深圳、北京、上海、广州、成都。
观众地理位置分布图
观众来源排行TOP20
我把通过jieba把评论分词,最后通过wordcloud制作词云,作为大众对该电影的综合评价。