【无标题】

1 Hadoop是什么?其核心由两大部分组成,分别是什么?我的答案:Hadoop是一种分析和处理大数据的软件平台,是Appach的一个用java语言所实现的开源软件的架框,在大量计算机组成的集群当中实现了对于海量的数据进行的分布式计算。主要由分布式处理,分布式储存两大部分组成。
2 MapReduce是什么?MapReduce的处理过程分为哪两部分?我的答案:MapReduce是一种编程模型,用于大规模数据集的并行运算。处理过程分为Map(映射)和Reduce(归约)两个部分。
3 ZooKeeper是什么?Zookeeper的应用场景主要有哪些?我的答案:Zookeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby的一个开源的实现。它是集群的管理者,监视着集群中各个节点的状态根据节点提交的反馈进行下一步的合理操作。最终,将简单易用的接口和性能高效、功能稳定的系统提供给用户。主要应用场景为:分布式协调、分布式锁、元数据、配置信息管理、HA高可用性。
4 Zookeeper的角色分为几种?分别有什么功能?我的答案:分三种。Leader:负责响应所有对Zookeeper状态变更状态的请求。Follower:响应本服务器上的读请求,处理leader的提议,并在leader提交该协议时在本地也进行提交。Observe:除了无选举权,其余和Follower一样,设置一些Observe以提高读取的吞吐量。
5 Znode的节点分为哪几种类型?我的答案分为两种:临时节点和永久节点。
六、计算题1根据要求完成,在HbaseShell中以下操作:(1)创建表t1,有1个family name:f1,版本数均为5;(2)给表t1的添加一行记录,其中,rowkey是rowkey001,family name是f1,column name是col1,value是value01,timestamp为系统默认。(3)查询表t1,"rowke001"中的f1下的所有列值我的答案:hbase(main)>create ‘t1’,{NAME=>‘f1’,VERSIONS=>5}hbase(main)>put ‘t1’,‘rowkey001’,‘f1:col1’,'value 01’hbase(main)>get ‘t1’,'rowkey001’2 请简述在V3个节点(Master,Slave1,Slave2)的Hadoop分布式集群中安装操作步骤(只描述主要操作步骤,不用描述实现的细节)。我的答案:解压安装包;修改配置文件,设置JDk目录;配置核心组件;修改文件配置;配置计算框架;在master节点配置slaves文件;将hadoop文件复制到其它两个节点;同时在三个节点配置Hadoop启动的系统环境变量;同时在三个节点上创建数据目录。3根据下面的要要求,在Hive Shell中执行相应的命令完成相应的操作。(1)创建一个外部表bigdata_user,其结构信息如下所示。数据在hdfs中的存放路径为:‘hdfs://localhost:9000/bigdatacase/dataset’,分隔符为‘\t’id intuid stringitem_id stringbehavior_type intitem_category stringvisit_date dateprovince string
(2)计算出表内有多少条行数据
(3)查看前10条信息我的答案:create external table bigdata_user(id int,uid string,item_id string,behavior_type int,item_category string,visit_date date,province string)row format delimitedfields terminated by '\t’location ‘hdfs://localhost:9090/bigdatacase/dataset’;select count() from bigdata_user;select from bigdata_user where 1=1 limit 10;

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值