大数据
SereinRiver
这个作者很懒,什么都没留下…
展开
-
在电影库中查找演员评分最高的5部电影
在电影库中查找演员评分最高的5部电影说在前面的话:其实这个题目有四种办法可以完成,只具体说明两种分别是:使用Hdfs的Hbase就可以实现。具体是idea这边写代码将数据写入Hbase(要先定义好表结构),java有提供api用于数据的插入,再去虚拟机进入Hbase使用命令就可以查看数据,此方法要求有一定的编程基础与前面几章的认真熟练使用Hive。这个对数据进行初步处理再带入Hive,Hive有提供类似于sql语句的查询。此方法简便利用pigsqoop?如果是自学很欢迎,如果是课程需要请关原创 2020-08-13 17:10:33 · 3895 阅读 · 0 评论 -
spark中关于dataframe的使用详解
spark关于DataFrame在复杂数据筛选的使用小记【实验说明】1,people.csv 中的数据是中国第五次人口普查(2000年)和第六次人口普查(2010年)的数据。以下为数据列的说明列序号说明1地区名称2户口地区类型,分别为 城市/镇/乡村3户口集体类型,分别为 家庭户/集体户4统计年份5性别6人数【实验要求】取2000年普查数据对比2010年普查数据,统计所有人口减少的地区,按减少数量从高到低排列。结果表头格式如下表所示原创 2020-08-13 15:48:39 · 772 阅读 · 0 评论