![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据存储
文章平均质量分 69
亿巫
这个作者很懒,什么都没留下…
展开
-
【大数据存储】spark-编程
2、每个输入文件表示班级学生某个学科的成绩,每行内容由两个字段组成,第一个是学生名字,第二个是学生的成绩;编写Spark独立应用程序求出所有学生的平均成绩,并输出到一个新文件中。下面是输入文件和输出文件的样例。1、对于两个输入文件A和B,编写Spark独立应用程序,对两个文件进行合并,并剔除其中重复的内容,得到一个新文件C。下面是输入文件和输出文件的样例。实验:编写Spark应用程序(掌握Spark应用程序的编写、编译打包和运行方法)4.通过spark-submit运行程序。原创 2024-04-06 01:00:00 · 242 阅读 · 0 评论 -
【大数据存储】实验七 Spark RDD
Spark RDD实验原创 2024-04-05 01:00:00 · 975 阅读 · 0 评论 -
【大数据存储】实验六:Hive
Hive原创 2024-04-04 01:15:00 · 1652 阅读 · 0 评论 -
【大数据存储】实验五:Mapreduce
Mapreduce实验原创 2024-04-03 19:58:22 · 1202 阅读 · 0 评论 -
【大数据存储】实验4 NoSQL数据库
Nosql实验原创 2024-04-03 19:53:29 · 1278 阅读 · 0 评论 -
【大数据存储】实验3 HBase的安装和基本操作
1、创建一个表student,该表包含两个列族Sinfo和Course,其中Sinfo包含。5、为student表增加“STel”列族,添加每位同学的联系方式(电话列和邮。关系型数据库(比如MySQL)中,需要首先创建数据库,然后再创建表,但。是,在HBase数据库中,不需要创建数据库,只要直接创建表就可以。查询时,默认情况回显示当前最新版本的数据,如果要查询历史数据,需要。指定查询的历史版本数,由于上面设置了保存版本数为3,所以,在查询时。,创建一个teacher表,在创建表的时候,需要指定保存。原创 2024-04-03 01:00:00 · 1558 阅读 · 0 评论 -
【大数据存储】实验二 HDFS操作实验
执行jps,可以看到名称节点和数据节点,第二名称节点都打开了,则hadoop相关进程启动成功。Hdfs内是一个虚拟的文件环境,无法直接查看,只能通过shell命令查看,出现错误。Cd 进入hadoop根目录。Cd进入/home文件夹。时通过赋予权限得到解决。原创 2024-04-02 01:00:00 · 305 阅读 · 0 评论 -
【大数据存储】实验1 Hadoop伪分布式安装
在安装hadoop之后发生了查看hadoop version失败的问题,后来发现是安装路径添加错误。解压缩hadoop安装包,给予用户prx17 hadoop文件权限,并检查hadoop是否安装成功。启动成功,也可以使用start-all.sh,但是伪分布式可以只使用dfs。Web http://localhost:9870查看hdfs信息。点击esc退出编辑模式,输入:wq,保存并退出文件。使用ssh localhost登录。(按o键进入编辑模式)运行自带的grep程序。选择运行grep例子。原创 2024-04-01 16:03:50 · 574 阅读 · 0 评论 -
【大数据存储】ubuntu22.04使用mongdb
因为ubuntu版本太高,学习时用的mongosh发现和其他版本有语句上的差异Ubuntu22.04.3Jdk1.8.0_341Hadoop3.2.3Hbase2.4.17Redis6.0.6mongdb6.0.12mogosh2.1.0提示:以下是本篇文章正文内容,下面案例可供参考查询名字为yls,年龄为21的数据。原创 2023-12-02 21:40:33 · 511 阅读 · 1 评论 -
【大数据存储】hbase所遇问题
建表一直报错,是因为时间未同步,hadoop内容过多。关闭hbase一直未停,因为master仍在运行。第一次启动时发现没有hregionsever。hadoop清除hbase。原创 2023-12-02 21:23:48 · 360 阅读 · 1 评论