![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 72
真题OK撒
这个作者很懒,什么都没留下…
展开
-
HIVE 表 DLL 基本操作(一)——第2关:Create/Drop/Truncate 表任务描述
大家众所周知,当我们在自己的电脑上删除某一个文件,它并没有彻底删除而是进入了回收站,你要在回收站中再将其删除才算彻底清除。截断表就相当于直接将数据从电脑上删除,而不会放入回收站。为了完成本关任务,你需要掌握: 1.如何创建表;补充完代码后,点击测评,平台会对你编写的代码进行测试,当你的结果与预期输出一致时,即为通过。本关任务:根据编程要求在数据库中对表进行相应的操作。按照已存在的表或视图定义一个相同结构的表或视图(使用。关键字,只复制表定义,不复制表数据)。请根据右侧命令行内的提示,在。原创 2022-10-27 08:08:10 · 839 阅读 · 0 评论 -
HIVE 表 DLL 基本操作(一)——第1关:Create/Alter/Drop 数据库
为了完成本关任务,你需要掌握: 1.如何创建数据库;2.如何修改数据库;3.如何删除数据库。补充完代码后,点击测评,平台会对你编写的代码进行测试,当你的结果与预期输出一致时,即为通过。命令用于设定当前所有数据库对象操作所处的工作数据库,类似于。数据库本质上是一个目录或命名空间,用于解决表命名冲突。按照以上要求填写命令。每个要求对应一条命令,共。本关任务:根据编程要求对数据库进行相关操作。文件系统中切换当前目录操作。请根据右侧命令行内的提示,在。开始你的任务吧,祝你成功!原创 2022-10-27 08:05:58 · 2560 阅读 · 0 评论 -
HIVE基本查询操作(二)——第3关:Hive抽样查询
为了完成本关任务,你需要掌握:1.随机抽样 2.桶表抽样 3.数据块抽样。采用对列值哈希,然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。可以进一步组织成桶,也就是说桶是更为细粒度的数据范围划分。根据提示,在右侧编辑器补充代码,计算每个股票每天的交易量。语句可以获得同样的效果,但是性能没这么高。到指定的桶中,这样可以支持高效采样工作。本关任务:计算每个股票每天的总交易量。也是 针对某一列进行桶的组织。把表(或者分区)组织成桶(行数据,数据总量的百分比(开始你的任务吧,祝你成功!原创 2022-10-27 08:02:59 · 2278 阅读 · 0 评论 -
HIVE 基本查询操作(二)——第2关:Hive数据类型和类型转换
的内置数据类型,2.如何转换数据类型。的内置数据类型可以分为两大类:(1)、日每种股票总共被客户买入了多少金额。为了完成本关任务,你需要掌握:1.(1) 如果将浮点型的数据转换成。日每种股票总共被客户买入了多少元。类型数据是一个数字类型(),这时候你可以利用嵌套的。开始你的任务吧,祝你成功!函数来实现的,而不是通过。类型的,内部操作是通过。在右侧编辑器补充代码,中的数据类型转换包括。原创 2022-10-27 07:59:21 · 3065 阅读 · 0 评论 -
HIVE基本查询操作(二)——第1关:Hive排序
,好处是:执行了局部排序之后可以为接下去的全局排序提高不少的效率(其实就是做一次归并排序就可以做到全局排序了)。产生一个排序文件,他俩一般情况下会结合使用。(这个肯定是全局有序的,因为相同的。出来的数据是有序的,但是不能保证所有的数据是有序的,除非只有一个。端都会做排序,也就是说保证了局部有序(每个。查询中要限制查询输出条数, 可以用。指定的列只能是升序,不能指定。输出结果的分发,相同字段的。中所用的列相同,可以缩写为。日的哪三种股票买入量最多。开始你的任务吧,祝你成功!日买入量最高的三种股票。原创 2022-10-27 07:57:48 · 5596 阅读 · 0 评论 -
HIVE表 DML 操作——第4关:将 select 查询结果写入文件
为了完成本关任务,你需要掌握:1.单文件写入,2.多文件写入。查询结果写入或导出到文件中,与查询结果插入到表中类似,导出。表中的数据到文件也有两种方法,分别是单文件写入和多文件写入。否则,查询结果写入到分布式文件系统中(关键字,查询结果写入本地文件系统中(开始你的任务吧,祝你成功!本关任务:根据编程要求将。原创 2022-10-27 07:56:13 · 2539 阅读 · 0 评论 -
HIVE表 DML 操作——第3关:将 select 查询结果插入 hive 表中
命令可以操作在表和特定的分区上,如果属于分区表,必须指明所有分区列和其对应的分区列属性值。为了完成本关任务,你需要掌握:1. 单表插入,2. 多表插入。表应用不同的查询规则从扫描结果中获取目标数据插入到不同的。该方法会 覆盖 表或分区中的数据(若对特定分区指定。多表插入操作的开始第一条命令指定所有表执行的。可以通过仅扫描一次数据源表,然后针对不同的。表插入数据)和多表插入(一次性向多个。多表插入操作可以降低源表的扫描次数,子句返回的结果添加到表或分区中。子句,针对同一个表,既可以执行。将不执行覆盖操作)。原创 2022-10-27 07:54:14 · 3454 阅读 · 0 评论 -
Hive 表 DML 操作——第2关:Select 操作
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UVxgJAba-1666387170509)(https://data.educoder.net/api/attachments/298456)]关键字的查询操作用于返回指定数目的满足条件的行(常用于返回。关键字的查询操作作用于确定是否返回重复的行,默认为。如下面的查询操作返回用户信息表。条记录,返回结果为从满足条件的记录中随机选取。查询操作,如下面的查询操作返回。问题,返回满足条件的列按。条件查询操作,返回满足。原创 2022-10-22 05:21:30 · 1396 阅读 · 0 评论 -
Hive 表 DML 操作——第2关:Select 操作
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UVxgJAba-1666387170509)(https://data.educoder.net/api/attachments/298456)]关键字的查询操作用于返回指定数目的满足条件的行(常用于返回。关键字的查询操作作用于确定是否返回重复的行,默认为。如下面的查询操作返回用户信息表。条记录,返回结果为从满足条件的记录中随机选取。查询操作,如下面的查询操作返回。问题,返回满足条件的列按。条件查询操作,返回满足。原创 2022-10-22 05:20:23 · 1585 阅读 · 0 评论 -
Hive 表 DML 操作——Hive 表 DML 操作——第1关:将文件中的数据导入(Load)到 Hive 表中
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Spu92Lls-1666382974341)(https://data.educoder.net/api/attachments/297553)]关键字,目标表或分区中的原始数据会被删除,替换成新数据;为了完成本关任务,你需要掌握:1.导入命令语法,2.如何将本地。中的任何一个文件同名,则表或分区中的同名文件会被。本关任务:将文档中的数据导入到数据库的表中。关键字,新数据会以追加的方式被添加到表中。原创 2022-10-22 04:11:12 · 3212 阅读 · 0 评论 -
Hive的安装与配置——第2关:Hive Shell入门基础命令
补充完代码后,点击测评,平台会对你编写的代码进行测试,当你的结果与预期输出一致时,即为通过。操作都会输出执行过程信息,如执行查询操作所用时间,通过指定。作业对任务进行并行处理,然后返回处理结果。因为该数据库下没有创建表,所以输出结果为。Hive Shell 非交互式运行。的交互式模式和非交互式模式下,执行。Hive Shell 常用命令。本关任务:按照编程要求,在。选项可以禁止输出此类信息。开始你的任务吧,祝你成功!原创 2022-10-21 18:49:53 · 8581 阅读 · 4 评论 -
大数据库练习题目集-键值数据库-2022-2023-1-20大数据本
的有序集合是使用 散列表 和跳跃表实现的。在redis数据库中,从列表键listkey1头部弹出元素abc,请写出相应的语句。的set 集合不允许数据重复,如果添加的数据在 set 中已经存在,将只保留一份。中,一个主节点可以有多个从节点(或没有从节点),但一个从节点只能有一个主节点。中,一个主节点可以有多个从节点(或没有从节点),一个从节点也可以有多个主节点。数据库中,如果在列表头部和尾部插入数据,性能会非常高,不受链表长度的影响。数据库中,如果在列表头部和尾部插入数据,性能会受到链表长度的影响。原创 2022-10-20 16:22:00 · 334 阅读 · 0 评论 -
Shell脚本编程实践——第1关:编写一个脚本,求斐波那契数列的前10项及总和
斐波那契数列(Fibonacci sequence),又称黄金分割数列,指的是这样一个数列:0、1、1、2、3、5、……本关任务:编写一个脚本,求斐波那契数列的前10项及总和,注意输出结果请给出一个求和的等式,且勿包含任何空格。标记告诉系统该脚本应该使用哪一种解释器来执行,openEuler中可以不写上述代码的第一行,系统默认使用Bash执行。为了完成本关任务,你需要掌握:1.什么是斐波那契数列;2.openEuler执行shell脚本的方法。开始你的任务吧,祝你成功!命令用于向窗口输出文本。原创 2022-10-20 00:24:20 · 4044 阅读 · 0 评论 -
Hive的安装与配置——第1关:Hive的安装与配置
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ysxGddek-1666195111052)(D:\文件\大三上\大数据库\educoder_Hive的安装.png)]版本就说明安装成功,但是可以看到其中有一些警告信息,是由于包的冲突引起的。补充完代码后,点击测评,平台会对你编写的代码进行测试,当你的结果与预期输出一致时,即为通过。**注意:**通过本关后,请继续完成第二关,第二关是在。注意:安装过程中会提示设置密码什么的,不要忘了设置。到该目录下,并将解压的文件重命名为。原创 2022-10-20 00:01:02 · 17175 阅读 · 4 评论 -
Exception in thread “main“ java.lang.RuntimeException: java.lang.RuntimeException: The root scratch
从图中可以看出 是 hive 的 hdfs 的文件权限出来问题。但是后面启动 hive 的时候还是处理问题。metatstore 命令启动了。所以我们需要修改文件的权限问题。原创 2022-10-03 01:22:04 · 1666 阅读 · 0 评论 -
Exception in thread “main“ java.lang.RuntimeException: java.lang.RuntimeException: Unable to instant
通过控制台的异常信息我们可以知道Hive的metadata服务未开启导致的。集群上的Hive时,结果出现了以下的情况。原创 2022-10-02 12:33:37 · 5644 阅读 · 0 评论 -
Hadoop 入门到实践
本文是一思维导图,仅仅供大家参考原创 2022-09-30 23:53:12 · 430 阅读 · 0 评论 -
Centos7-Linux环境中下载安装Git2.3超详文教程
若出现以上版本号,则代表已经安装了git,不需要再次安装了,否则就安装,其实安装的话,分为用yum安装和下载git源码编译安装。但是cetos5以及以下版本中的yum都没有git,无法使用yum安装,而cetos6可以使用yum安装git,但是安装的git是1.7.1版本的,而github需要的git版本最低都不能低于1.7.2。所以如果是cetos7以及以上版本的,推荐使用yum安装,方便,如果是cetos7以下的,请使用git源码编译安装git。2.通过编译源码安装Git (支持高版本Git的安装)原创 2022-09-26 22:42:58 · 538 阅读 · 0 评论 -
MySQL安装
* 如果无法在centos中通过wget方式下载下来,就在本地电脑中将此文件下载下来,上传到centos中**[root@master ~]# rpm -e mysql 【一般删除,如果提示依赖的其他文件,则不能删除】[root@master ~]# rpm -e --nodeps mysql 【强力删除,包含各种依赖包】关闭强密码验证:(如果要设置简单密码,登录mysql前执行此步骤,退出mysql:exit)设置开机启动MySQL服务(完成这步,mysql基本搞定了)原创 2022-09-14 23:06:20 · 183 阅读 · 0 评论 -
一线大厂研发流程
鱼皮终于写好了后端代码,也自测完成了,下面就是把写好的代码打包构建,然后把可执行项目包发布到测试服务器上,和前端同学一起联调,让他请求我的接口,验证系统的功能是否可用。但这样效率很低,有很多重复工作。写完架构设计后,鱼皮开始对着产品妹子写的 PRD(产品需求文档),分析需求,然后依然是从整体到局部,先整理出系统需要的功能模块,再分析每个功能模块内有哪些子模块。在大公司中,为了保证测试的覆盖度、提高测试效率,一般是要设计测试用例的,比如:用户点击 “登录”,未传任何数据,期望结果是警告用户输入用户名和密码。原创 2022-09-14 00:53:15 · 258 阅读 · 0 评论 -
大数据认知
数据挖掘工具配置模型五大类别回归分析分类分析聚类分析--人以类聚,物以群分降维分析八个模型线性回归(回归分析)朴素贝叶斯(分类分析)决策树(分类分析)K - Means(聚类分析)k - Means 算法将一组 N 个样本的特征矩阵 X 划分为 K 个无交集的蔟,直观表现来看是簇是一组一组聚集在一起的数据,在一簇中的数据就认为是同一类。最终的结果,蔟就是聚类的结果表现。蔟中所有数据均值通常被称为这个蔟的 “质心” (centroids)。原创 2022-09-14 00:51:48 · 505 阅读 · 0 评论 -
HIVE——安装
#HIVE_HOMEguava-19.0.jar 存在于 hadoop 中的 /opt/module/hadoop-3.1.3/share/hadoop/common/lib 然后删除较低版本并拷贝较高版本bin/hive使用 HiveOKdefaultOKOKOK原创 2022-09-14 00:44:09 · 449 阅读 · 0 评论 -
zookeeper环境搭建
在/opt/module/zookeeper-3.5.7/zkData 目录下创建一个 myid 的文件。在/opt/module/zookeeper-3.5.7/这个目录下创建 zkData。在文件中添加与 server 对应的编号(注意:上下不要有空行,左右不要有空格)#修改数据存储路径配置。原创 2022-09-03 15:06:29 · 515 阅读 · 0 评论 -
hadoop 运行环境搭建
hadoop100虚拟机配置要求如下(本文Linux系统全部以CentOS-7.5-x86-1804为例)**(1)使用yum安装需要虚拟机可以正常上网,yum安装前可以先测试下虚拟机联网情况(2)安装epel-release注:Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包,适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库,大多数rpm包在官方 repository 中是找不到的)原创 2022-09-02 21:25:22 · 650 阅读 · 0 评论 -
Phoenix-基于HBase的低延迟操作 头歌——答案
目录第1关:Phoenix初识第2关 Phoenix 查询和更新第3关 Phoenix 二级索引第4关 Phoenix Spark操作第2关 Phoenix 查询和更新第3关 Phoenix 二级索引第4关 Phoenix Spark操作原创 2022-06-19 19:20:12 · 1320 阅读 · 0 评论 -
头歌 HBase 开发:使用Java操作HBase(第2关:添加数据)
任务描述本关任务:使用代码向集群中创建表并添加数据。为了完成本关任务,你需要掌握:、对象如何使用。添加数据要对一个表添加数据,我们需要一个对象,在定义对象之前我们需要获取到对象,这样才能对指定的表进行操作:编程要求好了,到你啦,使用本关知识,在右侧编辑器处补充代码,请你编写一个程序,在中创建表,列簇都为:,添加数据:注意事项与上一关相同;平台会执行你的代码,获取你向表中添加的数据;预期输出:开始你的任务吧,祝你成功!............原创 2022-06-05 19:43:16 · 2221 阅读 · 0 评论 -
头歌 HBase 开发:使用Java操作HBase(第1关:创建表)
任务描述本关任务:使用代码在中创建表。为了完成本关任务,你需要掌握: 1.如何使用连接数据库, 2.如何使用代码在中创建表。如何使用Java连接HBase数据库连接需要两个类:HBaseConfiguration要连接我们首先需要创建对象,这个对象我们需要通过(配置)对象来进行创建,看名字我们就能猜到它的用途:读取指定路径下和的配置信息。具体用法:ConnectionFactory获取到连接对象我们就算连接上了了,怎么获取呢?通过(连接工厂)的方法我们就能获取到(连接对象)原创 2022-06-05 01:08:19 · 3200 阅读 · 0 评论 -
HBase 详细API操作
新建项目后在pom.xml中添加依赖:HBaseAPI获取Configuration对象判断表是否存在创建表删除表向表中put数据删除多行数据获取所有数据获取某一行数据获取某一行指定“列族:列”的数据.........原创 2022-06-03 11:50:34 · 2182 阅读 · 0 评论 -
头歌 Phoenix 入门(第1关:Phoenix 安装、第2关:Phoenix 基础语法)
本关任务:安装与配置。学习完之前的内容,我们会发现的基本理念和传统的关系数据库是截然不同的,查询数据利用的是 和 与过滤器配合进行查询,插入数据则使用 方法,这和操作关系型数据库差别很大,在关系型数据库中,比如创建表使用 语句,插入数据使用 语句,这些是我们熟悉的,不过本身并不支持,那如果我们想要写程序也像写那样是不是没办法呢? 答案是有办法的。为了使得熟悉的程序员能够快速使用 ,使用 是比较好的办法。它提供了一组类似于的语法,以及序列、索引、函数等工具,使得将代码移植至成为可能。本关讨论具体如何使用原创 2022-06-02 16:47:08 · 1661 阅读 · 0 评论 -
log4j:WARN No appenders could be found for logger (org.apache.zookeeper.ZooKeeper). log4j:WARN Pleas
log4j:WARN No appenders could be found for logger (org.apache.zookeeper.ZooKeeper). log4j:WARN Please initialize the log4j system properly.解决办法拷贝log4j.properties文件到项目根目录需要在项目的 src/main/resources 目录下,新建一个文件,命名为“log4j.properties”,在文件中填入。log4j.rootL原创 2022-05-26 14:52:36 · 1326 阅读 · 0 评论 -
第4章 面向对象编程
2-1分数2作者黄正鹏单位贵州工程应用技术学院60.类ArrayElement定义如下,它的子类定义正确的是?class ArrayElement(val str:String){def height =1}A.class LineElement(str: String) extends ArrayElement{def width = str.length}B.class LineElement(s: String) extends Array...原创 2022-05-08 19:46:16 · 3696 阅读 · 1 评论 -
第7章 HBase操作
判断题1-2分数2使用delete命令将HBase中的一张表进行删除操作。TF1-3分数2使用Shell命令insert对HBase中的一张表进行数据添加操作。TF1-4分数2使用Shell命令create在HBase系统中添加新表操作。TF1-5分数2HBase允许创建空表,不需要建立列簇。TF选择题2-1分数2客户端首次查询HBase数据库时...原创 2022-05-02 01:06:56 · 1132 阅读 · 0 评论 -
第3关:节点配额及其他命令
第3关:节点配额及其他命令200任务要求 参考答案 评论20任务描述 相关知识 quota(配额) 其他命令 编程要求 测试说明任务描述本关任务:熟练掌握ZooKeeper的配额(quota )设置方法及节点其他命令。相关知识为了完成本关任务,你需要掌握:1.ZooKeeper服务器开启及客户端启动,2.命令行基本操作,3.ZooKeeper节点配额方法和基本操作。quota(配额)ZooKeeper的配额机制用以管理当前节点的数据大小和子节点数量。可以在原创 2022-04-21 01:10:00 · 303 阅读 · 0 评论 -
第2关:ACL访问控制列表
第2关:ACL访问控制列表600任务要求 参考答案 评论20任务描述 相关知识 ACL访问控制列表 ACL权限 身份认证方式 权限设置 编程要求 测试说明任务描述本关任务:熟练掌握ZooKeeper的ACL(Acess Control List)访问控制列表机制并掌握节点的ACL设置方法。相关知识为了完成本关任务,你需要掌握:1.ZooKeeper服务器开启及客户端启动,2.命令行基本操作,3.ZooKeeper节点ACL机制和基本操作。ACL访问控制原创 2022-04-21 01:03:19 · 520 阅读 · 0 评论 -
第1关:节点监听机制
第2关:ACL访问控制列表600任务要求 参考答案 评论20任务描述 相关知识 ACL访问控制列表 ACL权限 身份认证方式 权限设置 编程要求 测试说明任务描述本关任务:熟练掌握ZooKeeper的ACL(Acess Control List)访问控制列表机制并掌握节点的ACL设置方法。相关知识为了完成本关任务,你需要掌握:1.ZooKeeper服务器开启及客户端启动,2.命令行基本操作,3.ZooKeeper节点ACL机制和基本操作。ACL访问控制原创 2022-04-21 00:42:00 · 536 阅读 · 0 评论 -
第3关:节点状态检查、数据查看和更新
第3关:节点状态检查、数据查看和更新100任务要求 参考答案 评论15任务描述 相关知识 节点状态检查 节点值查看 节点数据更新 编程要求 测试说明任务描述本关任务:掌握节点状态检查,节点值查看,以及节点数据更新。相关知识为了完成本关任务,你需要掌握:1.命令行基本操作。节点状态检查首先,需要启动服务器,并使用zkCli.sh连接服务器,进入客户端命令行界面(如第一关所述)。节点状态包含以下信息:czxid: 节点创建时的时间戳。 mzxid原创 2022-04-21 00:30:26 · 2140 阅读 · 0 评论 -
第2关:子节点创建、列出、删除
第2关:子节点创建、列出、删除任务要求 参考答案 评论15任务描述 相关知识 子节点创建、列出 子节点删除 编程要求 测试说明任务描述本关任务:掌握使用客服端创建删除不同类型的子节点,以及列出指定目录下的所有节点。相关知识为了完成本关任务,你需要掌握:1.节点创建、删除、列出方法,4.节点类型。子节点创建、列出首先,需要启动服务器,并使用zkCli.sh连接服务器,进入客户端命令行界面(如第一关所述)。创建子节点类似于创建新的节点,子节点也具有四种类型转载 2022-04-21 00:21:35 · 1369 阅读 · 0 评论 -
简述MapReduce执行过程?
简述MapReduce执行过程?Map把一个函数应用于集合中的所有成员,然后返回一个基于这个处理的结果集;Reduce是把两个或更多个Map中通过多个线程、进程或独立系统并行执行处理的结果集进行分类和归纳。MapReduce的执行过程如下:(1)数据预处理:在任务开始前,首先调用类库,将输入文件分为多个分片。(2)任务分配:JobTracker为集群中空闲的节点分配Map任务或者Reduce任务。设集群中有M个Map任务和R个Reduce任务(Reduce任务数通常小于Map任务数)。(3)M原创 2022-03-27 20:19:58 · 5949 阅读 · 0 评论 -
第一个MapReduce程序-------WordCount
第一个MapReduce程序——WordCount | 神奕的博客原创 2022-03-20 15:23:31 · 628 阅读 · 0 评论 -
第4关:HDFS-JAVA接口之删除文件
任务描述本关任务:删除HDFS中的文件和文件夹。相关知识为了完成本关任务,你需要掌握:1.如何使用API来删除文件,2.如何列出指定目录下的文件和文件夹。列出文件我们在开发或者维护系统时,经常会需要列出目录的内容,在HDFS的API中就提供了listStatus()方法来实现该功能。public FileStatus[] listStatus(Path f)throws IOException public FileStatus[] listStatus(Path f,P原创 2022-03-18 21:50:13 · 4464 阅读 · 2 评论