头歌-旅游网站大数据分析 - 数据存储

最新推荐文章于 2024-01-08 21:30:42 发布
最新推荐文章于 2024-01-08 21:30:42 发布
阅读量1.7k 收藏 13
点赞数 4
分类专栏： educoder头歌答案 文章标签： 旅游 java 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_61567376/article/details/131174139
版权

第1关：保存酒店和城市数据

package com.savedata;
import java.io.InputStream;
import java.util.ArrayList;
import java.util.List;
import org.apache.commons.io.IOUtils;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.util.Bytes;
import com.alibaba.fastjson.JSONObject;
import com.entity.Hotel;
import com.entity.HotelComment;
import com.util.HBaseUtil;
public class SaveData {
    /**
     * 获取并保存酒店和城市数据
     */
    public static void saveCityAndHotelInfo() {
        /**********   Begin   **********/        
                try {
            HBaseUtil.createTable("t_city_hotels_info", new String[] { "cityInfo", "hotel_info" });
        } catch (Exception e) {
            // 创建表失败
            e.printStackTrace();
        }
        List<Put> puts = new ArrayList<>();
        // 添加数据
        try {
            InputStream resourceAsStream = SaveData.class.getClassLoader().getResourceAsStream("aomen.txt");
            String readFileToString = IOUtils.toString(resourceAsStream, "UTF-8");
            List<Hotel> parseArray = JSONObject.parseArray(readFileToString, Hotel.class);
            String hongkong = IOUtils.toString(SaveData.class.getClassLoader().getResourceAsStream("hongkong.txt"),
                    "UTF-8");
            List<Hotel> hongkongHotel = JSONObject.parseArray(hongkong, Hotel.class);
            parseArray.addAll(hongkongHotel);
            for (Hotel hotel : parseArray) {
                String cityId = hotel.getCity_id();
                String hotelId = hotel.getId();
                Put put = new Put(Bytes.toBytes(cityId + "_" + hotelId));
                // 添加city数据
                put.addColumn(Bytes.toBytes("cityInfo"), Bytes.toBytes("cityId"), Bytes.toBytes(cityId));
                put.addColumn(Bytes.toBytes("cityInfo"), Bytes.toBytes("cityName"),
                        Bytes.toBytes(hotel.getCity_name()));
                put.addColumn(Bytes.toBytes("cityInfo"), Bytes.toBytes("pinyin"), Bytes.toBytes(hotel.getPinyin()));
                put.addColumn(Bytes.toBytes("cityInfo"), Bytes.toBytes("collectionTime"),
                        Bytes.toBytes(hotel.getCollectionTime()));
                // 添加hotel数据
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("id"), Bytes.toBytes(hotel.getId()));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("name"), Bytes.toBytes(hotel.getName()));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("price"), Bytes.toBytes(String.valueOf(hotel.getPrice())));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("lon"), Bytes.toBytes(String.valueOf(hotel.getLon())));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("url"), Bytes.toBytes(hotel.getUrl()));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("img"), Bytes.toBytes(hotel.getImg()));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("address"), Bytes.toBytes(hotel.getAddress()));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("score"), Bytes.toBytes(String.valueOf(hotel.getScore())));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("dpscore"), Bytes.toBytes(String.valueOf(hotel.getDpscore())));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("dpcount"), Bytes.toBytes(String.valueOf(hotel.getDpcount())));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("star"), Bytes.toBytes(hotel.getStar()));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("stardesc"),
                        Bytes.toBytes(hotel.getStardesc()));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("shortName"),
                        Bytes.toBytes(hotel.getShortName()));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("isSingleRec"),
                        Bytes.toBytes(hotel.getIsSingleRec()));
                puts.add(put);
            }
            // 批量保存数据
            HBaseUtil.putByTable("t_city_hotels_info", puts);
        } catch (Exception e) {
            e.printStackTrace();
        }
        
        
        
        /**********   End   **********/         
    }
    
    /**
     * 获取和保存酒店的评论数据
     */
    public static void saveCommentInfo() {
        /**********   Begin   **********/
         
         
         
         
        /**********   End   **********/
    }
}

第2关：保存酒店评论信息

package com.savedata;
import java.io.InputStream;
import java.util.ArrayList;
import java.util.List;
import org.apache.commons.io.IOUtils;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.util.Bytes;
import com.alibaba.fastjson.JSONObject;
import com.entity.Hotel;
import com.entity.HotelComment;
import com.util.HBaseUtil;
public class SaveData {
    /**
     * 获取并保存酒店和城市数据
     */
    public static void saveCityAndHotelInfo() {
        /**********   Begin   **********/        
                try {
            HBaseUtil.createTable("t_city_hotels_info", new String[] { "cityInfo", "hotel_info" });
        } catch (Exception e) {
            // 创建表失败
            e.printStackTrace();
        }
        List<Put> puts = new ArrayList<>();
        // 添加数据
        try {
            InputStream resourceAsStream = SaveData.class.getClassLoader().getResourceAsStream("aomen.txt");
            String readFileToString = IOUtils.toString(resourceAsStream, "UTF-8");
            List<Hotel> parseArray = JSONObject.parseArray(readFileToString, Hotel.class);
            String hongkong = IOUtils.toString(SaveData.class.getClassLoader().getResourceAsStream("hongkong.txt"),
                    "UTF-8");
            List<Hotel> hongkongHotel = JSONObject.parseArray(hongkong, Hotel.class);
            parseArray.addAll(hongkongHotel);
            for (Hotel hotel : parseArray) {
                String cityId = hotel.getCity_id();
                String hotelId = hotel.getId();
                Put put = new Put(Bytes.toBytes(cityId + "_" + hotelId));
                // 添加city数据
                put.addColumn(Bytes.toBytes("cityInfo"), Bytes.toBytes("cityId"), Bytes.toBytes(cityId));
                put.addColumn(Bytes.toBytes("cityInfo"), Bytes.toBytes("cityName"),
                        Bytes.toBytes(hotel.getCity_name()));
                put.addColumn(Bytes.toBytes("cityInfo"), Bytes.toBytes("pinyin"), Bytes.toBytes(hotel.getPinyin()));
                put.addColumn(Bytes.toBytes("cityInfo"), Bytes.toBytes("collectionTime"),
                        Bytes.toBytes(hotel.getCollectionTime()));
                // 添加hotel数据
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("id"), Bytes.toBytes(hotel.getId()));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("name"), Bytes.toBytes(hotel.getName()));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("price"), Bytes.toBytes(String.valueOf(hotel.getPrice())));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("lon"), Bytes.toBytes(String.valueOf(hotel.getLon())));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("url"), Bytes.toBytes(hotel.getUrl()));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("img"), Bytes.toBytes(hotel.getImg()));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("address"), Bytes.toBytes(hotel.getAddress()));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("score"), Bytes.toBytes(String.valueOf(hotel.getScore())));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("dpscore"), Bytes.toBytes(String.valueOf(hotel.getDpscore())));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("dpcount"), Bytes.toBytes(String.valueOf(hotel.getDpcount())));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("star"), Bytes.toBytes(hotel.getStar()));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("stardesc"),
                        Bytes.toBytes(hotel.getStardesc()));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("shortName"),
                        Bytes.toBytes(hotel.getShortName()));
                put.addColumn(Bytes.toBytes("hotel_info"), Bytes.toBytes("isSingleRec"),
                        Bytes.toBytes(hotel.getIsSingleRec()));
                puts.add(put);
            }
            // 批量保存数据
            HBaseUtil.putByTable("t_city_hotels_info", puts);
        } catch (Exception e) {
            e.printStackTrace();
        }
        
        
        
        /**********   End   **********/         
    }
    
    /**
     * 获取和保存酒店的评论数据
     */
    public static void saveCommentInfo() {
        /**********   Begin   **********/
        // 创建评论表
        try {
            HBaseUtil.createTable("t_hotel_comment", new String[] { "hotel_info", "comment_info" });
        } catch (Exception e) {
            // 创建表失败
            e.printStackTrace();
        }
        InputStream resourceAsStream = SaveData.class.getClassLoader().getResourceAsStream("comment.txt");
        try {
        String readFileToString = IOUtils.toString(resourceAsStream, "UTF-8");
        List<HotelComment> otherCommentListByPage = JSONObject.parseArray(readFileToString, HotelComment.class);
        // 获取数据
        List<Put> puts = new ArrayList<>();
        // 定义Put对象
        for (HotelComment comment : otherCommentListByPage) {
            Put put = new Put((comment.getHotel_id()  + "_" + comment.getId()).getBytes());
            put.addColumn("hotel_info".getBytes(), "hotel_name".getBytes(),
                    comment.getHotel_name().getBytes());
            put.addColumn("hotel_info".getBytes(), "hotel_id".getBytes(), comment.getHotel_id().getBytes());
            // 数据量很大在这里只保存用作分析的数据
            put.addColumn("comment_info".getBytes(), "id".getBytes(), Bytes.toBytes(String.valueOf(comment.getId())));
            put.addColumn("comment_info".getBytes(), "baseRoomId".getBytes(), Bytes.toBytes(String.valueOf(comment.getBaseRoomId())));
            if (comment.getBaseRoomId() != -1 && comment.getBaseRoomName() != null) {
                put.addColumn("comment_info".getBytes(), "baseRoomName".getBytes(),
                        Bytes.toBytes(comment.getBaseRoomName()));
            }
            put.addColumn("comment_info".getBytes(), "checkInDate".getBytes(), Bytes.toBytes(comment.getCheckInDate()));
            put.addColumn("comment_info".getBytes(), "postDate".getBytes(), Bytes.toBytes(comment.getPostDate()));
            put.addColumn("comment_info".getBytes(), "content".getBytes(), Bytes.toBytes(comment.getContent()));
            put.addColumn("comment_info".getBytes(), "highlightPosition".getBytes(),
                    Bytes.toBytes(comment.getHighlightPosition()));
            put.addColumn("comment_info".getBytes(), "hasHotelFeedback".getBytes(),
                    Bytes.toBytes(String.valueOf(comment.getHasHotelFeedback())));
            put.addColumn("comment_info".getBytes(), "userNickName".getBytes(),
                    Bytes.toBytes(comment.getUserNickName()));
            puts.add(put);
        }
            // 上传数据
            HBaseUtil.putByTable("t_hotel_comment", puts);
        } catch (Exception e) {
            e.printStackTrace();
        }
         
         
         
         
        /**********   End   **********/
    }
}

爱说6
关注
  • 4
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
旅游网站大数据分析 - 数据存储
Junds0的博客
05-25 2973
第1关：保存酒店和城市数据 本关任务：从文件aomen.txt、hongkong.txt中获取酒店和城市数据，保存到Hbase中。 package com.savedata; import java.io.InputStream; import java.util.ArrayList; import java.util.List; import org.apache.commons.io.IOUtils; import org.apache.hadoop.hbase.client.Put; import
旅游网站之数据分析
qq_52331221的博客
10-16 3053
3：在Reduce节点执行类中，统计以城市ID为维度的酒店价格均价，并保存到Hbase；需要满足ROWKEY为城市ID、列族为average_infos、表字段名称为price，计算出的价格均价为表字段值。2：在Reduce节点执行类中，统计以评论中分词后的词组为维度的词频数量，并保存到Hbase。2：在Map节点执行类中把城市ID当成的输出key，酒店价格当成Mapper类的输出value；1：在Map节点执行类中把评论进行分词当成输出key,Mapper类的输出value为固定值1。
【头歌】旅游网站大数据分析-数据抓取
qq_46048008的博客
04-18 3903
现在我们目标是获取携程旅游网的数据，然后将获取到的数据清洗，清洗一些无意义的数据，最后在存入到Hadoop中，这样我们就完成了数据获取、数据清洗、数据存储。 现在我们要来一起完成第一步，数据获取，在我们知道一个网站地址的前提下，如何提取该网站的数据为我们所用呢？ 需要一些工具，比如 Jsoup。 Jsoup 的使用 jsoup 是一款 Java 的 HTML 解析器，可直接解析某个 URL地址、HTML文本内容。它提供了一套非常省力的API，可通过 DOM，CSS以及类似于jQuery的操作方法来取出
头歌大数据技术第五关 旅游网站大数据分析-数据抓取
gaowen2466的博客
04-18 795
/截取cityId。* @param url 网址http://hotels.ctrip.com/domestic-city-hotel.html。//获取“http://you.ctrip.com/”的Docment对象。* 获取所有城市返回城市信息集合。//获取link[href]链接。//获取所有li之后的i标签。
educoder平台项目实战——旅游网站之数据分析
qq_43978896的博客
01-06 2550
educoder项目实战——旅游网站之数据分析
头歌：旅游网站之数据分析
最新发布
m0_53208849的博客
01-08 1635
【代码】头歌：旅游网站之数据分析。
头歌旅游网站大数据分析系统项目实战
12-24
在“头歌旅游网站大数据分析系统项目实战”中，我们主要关注五个关键章节： 1. **数据获取与清洗**：这一阶段是整个大数据分析流程的起点。数据获取通常通过网络爬虫技术实现，例如在提供的代码片段中，可以看到...
旅游数据分析.rar
12-31
这个名为“旅游数据分析”的压缩包文件显然聚焦于利用Python编程语言进行数据获取和处理。Python是一种广泛应用的编程语言，尤其在数据科学领域，因其丰富的库和易读性而备受青睐。 在Python爬虫方面，我们可以学习...
旅游网站—需求分析阶段数据要求说明书.docx
06-27
《四川任我行数据需求说明书》是旅游网站在需求分析阶段的重要文档，旨在明确网站功能实现所需的各类数据，为后续的数据库设计、概要设计和详细设计提供基础。以下是基于文档内容的关键知识点： 1. **目标读者**：...
特色小镇旅游产业大数据分析平台建设和运营整体解决方案.pptx
04-25
1. **云计算技术**：云计算为旅游大数据提供了强大的存储和计算能力，能够处理海量的旅游数据，如游客行为数据、消费数据、景点信息等。通过云端平台，可以实现数据的集中管理和高效分析。 2. **物联网技术**：...
旅游大数据分析及解决方案.pdf
08-16
旅游大数据分析及解决方案.pdf
驴妈妈旅游网站大数据项目实战
10-18
项目介绍 hadoop介绍 SSH免密码登录 JAVA安装 Hadoop安装及验证 shell命令相关配置信息 httpfs相关命令 集群启动相关命令介绍 集群启动相关命令操作 hdfs相关命令 其他HadoopShell命令
旅游网站大数据分析系统项目实战（头歌）
11-14
旅游网站大数据分析系统项目实战（头歌）
myshixun.zip
04-16
头歌数据挖掘——商品推荐和大数据处理配套数据
全域旅游大数据分析可视化云服务平台建设方案.pptx
04-15
【全域旅游大数据分析可视化云服务平台建设方案】是一种针对旅游业的创新技术解决方案，旨在通过大数据分析和可视化手段提升旅游业的服务质量和管理效率。本方案的核心是构建一个云服务平台，它将整合各类旅游资源，...
头歌educoder-旅游网站大数据分析 - 数据清洗
m0_61567376的博客
06-12 1632
【代码】头歌educoder-旅游网站大数据分析 - 数据清洗。
头歌平台python数据分析——（2）Numpy进阶
qq_51657387的博客
05-14 6787
首先，利用花式索引获取arr数组第line行（至少两行）的数组a；然后，利用整数数组索引获取数组四个角（按行优先的顺序获取）的元素得到数组b；最后，再利用布尔索引获取大于10的元素得到数组c，并输出c。首先用arange()生成一个数组，然后用reshape()方法，将数组切换成4x3的形状，最后再与basearray相加，输出它们的和。根据提示，在右侧编辑器Begin-End区间补充代码，将一个ndarray类型的数组顺时针旋转90度后输出。np.vstack()可以将两个数组竖直堆叠成为新的数组。
旅游网站大数据分析 - 数据抓取
Junds0的博客
11-08 3379
/访问网址检查发现所有数据存在该标签中。请补全右侧Begin-End之间的代码，分别获取携程网所有带有href的link标签、第一次出现class为"pop_attention"的div（可用DOM或CSS二种方式实现）、以及所有li之后的i标签。现在我们目标是获取携程旅游网的数据，然后将获取到的数据清洗，清洗一些无意义的数据，最后在存入到Hadoop中，这样我们就完成了数据获取、数据清洗、数据存储。现在我们要来一起完成第一步，数据获取，在我们知道一个网站地址的前提下，如何提取该网站的数据为我们所用呢？
python旅游数据分析
08-02
Python旅游数据分析是一种利用Python编程语言进行旅游数据分析的方法。通过使用Python的数据分析库和可视化工具，可以对旅游数据进行收集、存储、处理和可视化，从而提供更直观、准确和深入的分析和展示。这种方法可以帮助用户更好地了解和规划旅游行程。在开发基于Python的城市旅游数据采集分析系统时，需要遵循分层和模块化的原则，选择合适的技术和工具来支持系统的开发和实现。系统的功能模块包括城市旅游数据采集、城市旅游数据存储、城市旅游数据处理和城市旅游数据可视化。通过分析城市旅游热门景点数据，系统可以为用户提供城市热门景点信息、住宿、热门小吃信息等，方便用户规划出行并提供合理的出行方案。[2][3]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值