Yelp大数据分析并用zeppelin实现可视化

Up+

已于 2024-01-11 22:22:20 修改

阅读量1.2k

点赞数 24

文章标签：数据分析 python pycharm hadoop

于 2024-01-11 22:19:11 首次发布

本文链接：https://blog.csdn.net/qq_64156624/article/details/135539267

版权

本文详细描述了一次基于Yelp商户数据的实训项目，涉及数据源获取、Hadoop生态（HDFS、YARN、HIVE）使用、Pyspark编程，以及对商户和评论的深度分析，包括可视化图表如词云和关系图，为餐饮商家经营提供了策略建议。

摘要由CSDN通过智能技术生成

一、项目前言

Yelp是美国著名商户点评网站，创立于2004年，囊括各地餐馆、购物中心、酒店、旅游等领域的商户，用户可以在Yelp网站中给商户打分，提交评论，交流购物体验等。在Yelp中搜索一个餐厅或者旅馆，能看到它的简要介绍以及网友的点论，点评者还会给出多少星级的评价，通常点评者都是亲身体验过该商户服务的消费者，评论大多形象细致。因此对其数据进行分析与可视化。

该项目基于一次实训做出的大数据分析，因此以下内容主要为了记录与介绍我所完成的工作内容。

二、数据源

下载地址：Yelp Dataset

三、数据源文件说明

3.1 business表（yelp_academic_dataset_business.json）

字段名	类型	说明	备注
business_id	string	22 character unique string business id
name	string	the business's name
address	string	the full address of the business
city	string	the city
state	string	2 character state code, if applicable
postal code	string	the postal code
latitude	float	latitude
longitude	float	longitude
stars	float	star rating, rounded to half-stars	平均评分
review_count	integer	number of reviews
is_open	integer	0 or 1 for closed or open, respectively
attributes	object	business attributes to values. note: some attribute values might be objects	属性、设施
categories	array	an array of strings of business categories	类别
hours	object	an object of key day to value hours, hours are using a 24hr clock	开门时间

3.2 review表（yelp_academic_dataset_review.json）

字段名	类型	说明	备注
review_id	string	22 character unique review id
user_id	string	22 character unique user id, maps to the user in user.json
business_id	string	22 character business id, maps to business in business.json
stars	integer	star rating
date	string	date formatted YYYY-MM-DD
text	string	the review itself
useful	integer	number of useful votes received
funny	integer	number of funny votes received
cool	integer	number of cool votes received

四、使用的平台及语言

主要使用了Ambari管理Hadoop集群，其中HDFS实现分布式存储，YARN提供计算，HIVE建表，zeppelin实现可视化。部分功能比如生成词云、关系图这些zeppelin无法实现（主要是zeppelin导入不了外部依赖，我在网上查了很久也没有找到解决办法）因此转移到了pycharm中实现。

语言是使用的pyspark。

五、项目功能实现

5.1 准备数据创建HIVE表

这里先用了xshell中的xftp来把下载好的文件传入hdfs中以便于建表。

上传数据完成后我们就可以开始创建HIVE表进行大数据分析：

5.1.1 创建business 外部表并解析数据

CREATE TABLE business
(
    business_id      string,
    name             string,
    address          string,
    city             string,
    state            string,
    postal_code  string,
    latitude     float,
    longitude    float,
    stars        float,
    review_count int,
    is_open      tinyint,
    attributes   string,
    categories   string,
    hours        string
);
 
 
FROM json_business
INSERT
OVERWRITE
TABLE
business
SELECT get_json_object(json_body, '$.business_id'),
       get_json_object(json_body, '$.name'),
       get_json_object(json_body, '$.address'),
       get_json_object(json_body, '$.city'),
       get_json_object(json_body, '$.state'),
       get_json_object(json_body, '$.postal_code'),
       get_json_object(json_body, '$.latitude'),
       get_json_object(json_body, '$.longitude'),
       get_json_object(json_body, '$.stars'),
       get_json_object(json_body, '$.review_count'),
       get_json_object(json_body, '$.is_open'),
       cast(get_json_object(json_body, '$.attributes') AS string),
       get_json_object(json_body, '$.categories'),
       get_json_object(json_body, '$.hours');

5.1.2 创建review 外部表并解析数据

CREATE TABLE review
(
    review_id       string,
    rev_user_id     string,
    rev_business_id string,
    rev_stars       int,
    rev_useful      int,
    rev_funny       int,
    rev_cool        int,
    rev_text        string,
    rev_timestamp   string,
    rev_date        date
);
 
FROM json_review
INSERT
OVERWRITE
TABLE
review
SELECT get_json_object(json_body, '$.review_id'),
       get_json_object(json_body, '$.user_id'),
       get_json_object(json_body, '$.business_id'),
       get_json_object(json_body, '$.stars'),
       get_json_object(json_body, '$.useful'),
       get_json_object(json_body, '$.funny'),
       get_json_object(json_body, '$.cool'),
       regexp_replace(regexp_replace(get_json_object(json_body, '$.text'), '\n', ' '), '\r', ' '),
       get_json_object(json_body, '$.date'),
       cast(substr(get_json_object(json_body, '$.date'), 0, 10) as date);