头歌-旅游网站大数据分析 - 数据存储

最新推荐文章于 2024-04-25 20:07:48 发布
最新推荐文章于 2024-04-25 20:07:48 发布
阅读量2.6k 收藏 18
点赞数 8
分类专栏： educoder头歌答案 文章标签： 旅游 java 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_61567376/article/details/131174139
版权
该代码段展示了如何使用Java和ApacheHBase库来保存酒店和城市的数据，包括创建HBase表，读取JSON数据，转换为Java对象，并将数据存储到表中。另外，它还包含了保存酒店评论信息的函数结构，但未提供具体实现。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

第1关：保存酒店和城市数据

package com.savedata;
import java.io.InputStream;
import java.util.ArrayList;
import java.util.List;
import org.apache.commons.io.IOUtils;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.util.Bytes;
import com.alibaba.fastjson.JSONObject;
import com.entity.Hotel;
import com.entity.HotelComment;
import com.util.HBaseUtil;
public class SaveData {
    /**
     * 获取并保存酒店和城市数据
     */
    public static void saveCityAndHotelInfo() {
        /**********   Begin   **********/        
                try {
            HBaseUtil.createTable("t_city_hotels_info", new String[] { "cityInfo", "hotel_info" });
        } catch (Exception e) {
            // 创建表失败
            e.printStackTrace();
        }
        List<Put> puts = new ArrayList<>();
        // 添加数据
        try {
            InputStream resourceAsStream = SaveData.class.getClassLoader().getResourceAsStream("aomen.txt");
            String readFileToString = IOUtils.toString(resourceAsStream, "UTF-8");
            List<Hotel> parseArray = JSONObject.parseArray(readFileToString, Hotel.class);
            String hongkong = IOUtils.toString(SaveData.class.getClassLoader().getResourceAsStream("hongkong.txt"),
                    "UTF-8");
            List<Hotel> hongkongHotel = JSONObject.parseArray(hongkong, Hotel.class);
            parseArray.addAll(hongkongHotel);
            for (Hotel hotel : parseArray) {
                String cityId = hotel.getCity_id();
                String hotelId = hotel.getId();
                Put put = new Put(Bytes.toBytes(cityId + "_" + hotelId));
                // 添加city数据
                put.addColumn(Bytes.toBytes("cityInfo"), Bytes.toBytes("cityId"), Bytes.toBytes(cityId));
                put.addColumn(Bytes.toBytes("cityInfo"), Bytes.toBytes("cityName"),
                        Bytes.toBytes(hotel.getCity_name()));
                put.addColumn(Bytes.toBytes("cityInfo"), Bytes.toBytes("pinyin"), Bytes.toBytes(hotel.getPinyin()));
                put.addColumn(Bytes.toBytes("cityInfo"), Bytes.toBytes("collectionTime"),
                        Bytes.toBytes(hotel.getCollectionTime()));
                // 添加hotel数据
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("id"), Bytes.toBytes(hotel.getId()));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("name"), Bytes.toBytes(hotel.getName()));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("price"), Bytes.toBytes(String.valueOf(hotel.getPrice())));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("lon"), Bytes.toBytes(String.valueOf(hotel.getLon())));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("url"), Bytes.toBytes(hotel.getUrl()));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("img"), Bytes.toBytes(hotel.getImg()));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("address"), Bytes.toBytes(hotel.getAddress()));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("score"), Bytes.toBytes(String.valueOf(hotel.getScore())));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("dpscore"), Bytes.toBytes(String.valueOf(hotel.getDpscore())));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("dpcount"), Bytes.toBytes(String.valueOf(hotel.getDpcount())));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("star"), Bytes.toBytes(hotel.getStar()));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("stardesc"),
                        Bytes.toBytes(hotel.getStardesc()));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("shortName"),
                        Bytes.toBytes(hotel.getShortName()));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("isSingleRec"),
                        Bytes.toBytes(hotel.getIsSingleRec()));
                puts.add(put);
            }
            // 批量保存数据
            HBaseUtil.putByTable("t_city_hotels_info", puts);
        } catch (Exception e) {
            e.printStackTrace();
        }
        
        
        
        /**********   End   **********/         
    }
    
    /**
     * 获取和保存酒店的评论数据
     */
    public static void saveCommentInfo() {
        /**********   Begin   **********/
         
         
         
         
        /**********   End   **********/
    }
}

第2关：保存酒店评论信息

package com.savedata;
import java.io.InputStream;
import java.util.ArrayList;
import java.util.List;
import org.apache.commons.io.IOUtils;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.util.Bytes;
import com.alibaba.fastjson.JSONObject;
import com.entity.Hotel;
import com.entity.HotelComment;
import com.util.HBaseUtil;
public class SaveData {
    /**
     * 获取并保存酒店和城市数据
     */
    public static void saveCityAndHotelInfo() {
        /**********   Begin   **********/        
                try {
            HBaseUtil.createTable("t_city_hotels_info", new String[] { "cityInfo", "hotel_info" });
        } catch (Exception e) {
            // 创建表失败
            e.printStackTrace();
        }
        List<Put> puts = new ArrayList<>();
        // 添加数据
        try {
            InputStream resourceAsStream = SaveData.class.getClassLoader().getResourceAsStream("aomen.txt");
            String readFileToString = IOUtils.toString(resourceAsStream, "UTF-8");
            List<Hotel> parseArray = JSONObject.parseArray(readFileToString, Hotel.class);
            String hongkong = IOUtils.toString(SaveData.class.getClassLoader().getResourceAsStream("hongkong.txt"),
                    "UTF-8");
            List<Hotel> hongkongHotel = JSONObject.parseArray(hongkong, Hotel.class);
            parseArray.addAll(hongkongHotel);
            for (Hotel hotel : parseArray) {
                String cityId = hotel.getCity_id();
                String hotelId = hotel.getId();
                Put put = new Put(Bytes.toBytes(cityId + "_" + hotelId));
                // 添加city数据
                put.addColumn(Bytes.toBytes("cityInfo"), Bytes.toBytes("cityId"), Bytes.toBytes(cityId));
                put.addColumn(Bytes.toBytes("cityInfo"), Bytes.toBytes("cityName"),
                        Bytes.toBytes(hotel.getCity_name()));
                put.addColumn(Bytes.toBytes("cityInfo"), Bytes.toBytes("pinyin"), Bytes.toBytes(hotel.getPinyin()));
                put.addColumn(Bytes.toBytes("cityInfo"), Bytes.toBytes("collectionTime"),
                        Bytes.toBytes(hotel.getCollectionTime()));
                // 添加hotel数据
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("id"), Bytes.toBytes(hotel.getId()));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("name"), Bytes.toBytes(hotel.getName()));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("price"), Bytes.toBytes(String.valueOf(hotel.getPrice())));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("lon"), Bytes.toBytes(String.valueOf(hotel.getLon())));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("url"), Bytes.toBytes(hotel.getUrl()));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("img"), Bytes.toBytes(hotel.getImg()));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("address"), Bytes.toBytes(hotel.getAddress()));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("score"), Bytes.toBytes(String.valueOf(hotel.getScore())));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("dpscore"), Bytes.toBytes(String.valueOf(hotel.getDpscore())));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("dpcount"), Bytes.toBytes(String.valueOf(hotel.getDpcount())));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("star"), Bytes.toBytes(hotel.getStar()));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("stardesc"),
                        Bytes.toBytes(hotel.getStardesc()));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("shortName"),
                        Bytes.toBytes(hotel.getShortName()));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("isSingleRec"),
                        Bytes.toBytes(hotel.getIsSingleRec()));
                puts.add(put);
            }
            // 批量保存数据
            HBaseUtil.putByTable("t_city_hotels_info", puts);
        } catch (Exception e) {
            e.printStackTrace();
        }
        
        
        
        /**********   End   **********/         
    }
    
    /**
     * 获取和保存酒店的评论数据
     */
    public static void saveCommentInfo() {
        /**********   Begin   **********/
        // 创建评论表
        try {
            HBaseUtil.createTable("t_hotel_comment", new String[] { "hotel_info", "comment_info" });
        } catch (Exception e) {
            // 创建表失败
            e.printStackTrace();
        }
        InputStream resourceAsStream = SaveData.class.getClassLoader().getResourceAsStream("comment.txt");
        try {
        String readFileToString = IOUtils.toString(resourceAsStream, "UTF-8");
        List<HotelComment> otherCommentListByPage = JSONObject.parseArray(readFileToString, HotelComment.class);
        // 获取数据
        List<Put> puts = new ArrayList<>();
        // 定义Put对象
        for (HotelComment comment : otherCommentListByPage) {
            Put put = new Put((comment.getHotel_id()  + "_" + comment.getId()).getBytes());
            put.addColumn("hotel_info".getBytes(), "hotel_name".getBytes(),
                    comment.getHotel_name().getBytes());
            put.addColumn("hotel_info".getBytes(), "hotel_id".getBytes(), comment.getHotel_id().getBytes());
            // 数据量很大在这里只保存用作分析的数据
            put.addColumn("comment_info".getBytes(), "id".getBytes(), Bytes.toBytes(String.valueOf(comment.getId())));
            put.addColumn("comment_info".getBytes(), "baseRoomId".getBytes(), Bytes.toBytes(String.valueOf(comment.getBaseRoomId())));
            if (comment.getBaseRoomId() != -1 && comment.getBaseRoomName() != null) {
                put.addColumn("comment_info".getBytes(), "baseRoomName".getBytes(),
                        Bytes.toBytes(comment.getBaseRoomName()));
            }
            put.addColumn("comment_info".getBytes(), "checkInDate".getBytes(), Bytes.toBytes(comment.getCheckInDate()));
            put.addColumn("comment_info".getBytes(), "postDate".getBytes(), Bytes.toBytes(comment.getPostDate()));
            put.addColumn("comment_info".getBytes(), "content".getBytes(), Bytes.toBytes(comment.getContent()));
            put.addColumn("comment_info".getBytes(), "highlightPosition".getBytes(),
                    Bytes.toBytes(comment.getHighlightPosition()));
            put.addColumn("comment_info".getBytes(), "hasHotelFeedback".getBytes(),
                    Bytes.toBytes(String.valueOf(comment.getHasHotelFeedback())));
            put.addColumn("comment_info".getBytes(), "userNickName".getBytes(),
                    Bytes.toBytes(comment.getUserNickName()));
            puts.add(put);
        }
            // 上传数据
            HBaseUtil.putByTable("t_hotel_comment", puts);
        } catch (Exception e) {
            e.printStackTrace();
        }
         
         
         
         
        /**********   End   **********/
    }
}

旅游网站大数据分析 - 数据存储
Junds0的博客
05-25 3184
第1关：保存酒店和城市数据 本关任务：从文件aomen.txt、hongkong.txt中获取酒店和城市数据，保存到Hbase中。 package com.savedata; import java.io.InputStream; import java.util.ArrayList; import java.util.List; import org.apache.commons.io.IOUtils; import org.apache.hadoop.hbase.client.Put; import
头歌：旅游网站之数据分析
m0_53208849的博客
01-08 2552
【代码】头歌：旅游网站之数据分析。
头歌 旅游网站之数据可视化
shuishou17的博客
05-15 1160
头歌的实训答案
【头歌】旅游网站大数据分析-数据抓取
qq_46048008的博客
04-18 5656
现在我们目标是获取携程旅游网的数据，然后将获取到的数据清洗，清洗一些无意义的数据，最后在存入到Hadoop中，这样我们就完成了数据获取、数据清洗、数据存储。 现在我们要来一起完成第一步，数据获取，在我们知道一个网站地址的前提下，如何提取该网站的数据为我们所用呢？ 需要一些工具，比如 Jsoup。 Jsoup 的使用 jsoup 是一款 Java 的 HTML 解析器，可直接解析某个 URL地址、HTML文本内容。它提供了一套非常省力的API，可通过 DOM，CSS以及类似于jQuery的操作方法来取出
旅游网站之数据分析
qq_52331221的博客
10-16 3768
3：在Reduce节点执行类中，统计以城市ID为维度的酒店价格均价，并保存到Hbase；需要满足ROWKEY为城市ID、列族为average_infos、表字段名称为price，计算出的价格均价为表字段值。2：在Reduce节点执行类中，统计以评论中分词后的词组为维度的词频数量，并保存到Hbase。2：在Map节点执行类中把城市ID当成的输出key，酒店价格当成Mapper类的输出value；1：在Map节点执行类中把评论进行分词当成输出key,Mapper类的输出value为固定值1。
educoder平台项目实战——旅游网站之数据分析
qq_43978896的博客
01-06 2632
educoder项目实战——旅游网站之数据分析
头歌大数据技术第五关 旅游网站大数据分析-数据抓取
gaowen2466的博客
04-18 1009
/截取cityId。* @param url 网址http://hotels.ctrip.com/domestic-city-hotel.html。//获取“http://you.ctrip.com/”的Docment对象。* 获取所有城市返回城市信息集合。//获取link[href]链接。//获取所有li之后的i标签。
旅游大数据分析及解决方案.pdf
08-16
旅游大数据分析及解决方案.pdf
头歌-旅游大数据分析（全）代码（粘贴复制即可）
bzzb52的博客
04-04 4708
头歌平台旅游大数据分析全答案（免费）
头歌旅游网站大数据分析系统项目实战
12-24
在“头歌旅游网站大数据分析系统项目实战”中，我们主要关注五个关键章节： 1. **数据获取与清洗**：这一阶段是整个大数据分析流程的起点。数据获取通常通过网络爬虫技术实现，例如在提供的代码片段中，可以看到...
驴妈妈旅游网站大数据项目实战
10-18
项目介绍 hadoop介绍 SSH免密码登录 JAVA安装 Hadoop安装及验证 shell命令相关配置信息 httpfs相关命令 集群启动相关命令介绍 集群启动相关命令操作 hdfs相关命令 其他HadoopShell命令
数据可视化:把玩一下seaborn(一)
12-20
数据可视化：把玩一下seaborn(一) 最近刚开始学习数据可视化，第一个任务就是了解并完成seaborn（一个python处理数据可视化的库）的官方教程，其他数据可视化的内容会后续更新。seaborn在调用数据的时候会有一些数据库相关的操作,例如data=data=diamonds.sort_values("color")这里就不解释了 原文链接
旅游网站大数据分析系统项目实战（头歌）
11-14
旅游网站大数据分析系统项目实战（头歌）
旅游数据分析.rar
12-31
旅游数据分析PYTHON python爬虫
基于Python的Flask-html旅游网站的数据分析及可视化系统源码.zip
02-25
在当今信息化时代，数据分析和可视化是处理和展示数据的重要手段，尤其在旅游网站中，通过对用户行为、偏好和旅游景点热度等数据的分析与可视化，能有效帮助旅游网站运营者制定营销策略、优化用户体验，甚至预测市场...
旅游网站之数据可视化
Junds0的博客
05-18 2277
第1关：词云的绘制 本关任务：使用KUMO框架绘制一个简单的词云。 package com.showdata; import java.awt.Dimension; import java.io.IOException; import java.util.List; import com.kennycason.kumo.CollisionMode; import com.kennycason.kumo.WordCloud; import com.kennycason.kumo.WordFrequency;
头歌平台——大数据技术——上机
韭菜gaga的博客
04-25 4041
本文用于记录本人学习过程中的方法。
头歌数据可视化练习
weixin_62336130的博客
04-11 3180
学习记录！
头歌educoder-旅游网站大数据分析 - 数据清洗
m0_61567376的博客
06-12 2283
【代码】头歌educoder-旅游网站大数据分析 - 数据清洗。
旅游网站大数据分析 -数据存储
最新发布
03-18
### 旅游网站大数据分析中的数据存储方案 在旅游网站的大数据分析场景下，数据存储方案的选择至关重要。由于涉及大量的用户行为日志、预订记录以及地理空间数据等复杂多样的信息源，因此需要一种能够高效处理大规模数据并提供灵活查询能力的技术栈。 #### 使用Hadoop作为基础架构 Hadoop作为一个开源的分布式文件系统 (HDFS) 和分布式计算框架 (MapReduce)，非常适合用于存储和管理海量的历史数据[^4]。对于旅游网站而言，用户的浏览历史、点击流数据以及其他非结构化或半结构化的信息都可以通过HDFS来持久化保存。这种设计不仅具备高可用性和容错机制，还允许随着业务增长轻松扩展集群规模以适应更大的数据量需求。 #### 利用Spark提升性能与灵活性 尽管Hadoop擅长于批量作业执行，但在某些情况下可能显得效率较低或者不够敏捷。这时引入Apache Spark就变得尤为重要了——相比传统的MapReduce模型来说，它可以显著加快迭代型算法的速度，并且支持内存内的快速运算[^2]。特别是当涉及到实时推荐引擎开发或者是复杂的交互式探索任务时，采用Spark无疑会带来更好的用户体验效果。 另外值得一提的是，在具体实现过程中还可以借助于Spark SQL这一强大功能组件来进行结构化数据集上的操作[^3]。例如针对已有的订单表单或是客户反馈意见等内容创建相应的DataFrames对象之后再运用标准SQL语句完成检索工作；这样一来既简化了编码流程又提高了可读性水平！ ```python from pyspark.sql import SparkSession # 初始化Spark Session spark = SparkSession.builder \ .appName("Tourism Data Analysis") \ .getOrCreate() # 加载CSV格式的数据到DataFrame中 df_orders = spark.read.csv("/path/to/orders", header=True, inferSchema=True) # 执行简单的SQL查询 df_filtered = df_orders.filter(df_orders['status'] == 'completed') result = df_filtered.groupBy('destination').count().orderBy('count', ascending=False).limit(10) result.show() ``` 上述代码片段展示了如何利用PySpark加载一份关于旅行订单详情列表（假设为CSV形式），并通过编写简洁明快的SQL表达式找出最受欢迎的目的地排名前十位的结果展示出来。 --- ###
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值