m0_59627358的博客

习题类型：（有关spark,hive,zookeeper,HBase等） 1.HBase来源于哪篇博文？BigTable 2.对HBase的描述哪些是正确的是：是面向列的，是分布式的，是一种NoSQL数据库 3.HBase依靠HDFS存储底层数据 4.HBase依赖Zookeeper提供消息通信机制 5.HBase依赖MapReduce提供强大的计算能力 6.MapReduce与HBase的关系，哪些描述是正确的？①两者不是强关联关系，没有MapReduce，HBase可以正常运行②MapReduce可以直接访问HBase 7.下面哪些选项正确描述了HBase的特性？A 高可靠性B 高性能C 面向列D可伸缩 8.与Zookeeper类似的框架是？Chubby 9.下面与HDFS类似的框架是？GFS(也是分布式文件系统，谷歌自己的分布式文件系统) 10.下面哪些概念是HBase框架中使用的？HDFS，Zookeeper 适合于想学习hadoop相关知识的人群，内容简单易懂且比较完整。

三个交换的优缺点，网络协议的三个要素是什么？各有什么含义？ 语法即数据与控制信息的结构或格式；  语义即需要发出何种控制信息完成何种动作以及做出何种响应；  同步即事件实现顺序的详细说明。 最大传送单元MTU是指IP层下面的每一种数据链路层协议都规定了一个数据帧中的数据字段的最大长度。CRC计算，物理层的接口有哪几个方面的特性，网络层向运输层提供“面向连接”虚电路服务或“无连接”数据报服务，前者预约了双方通信所需的一切网络资源。优点是能提供服务质量的承诺。即所传送的分组不出错、丢失、重复和失序(不按序列到达终点),也保证分组传送的时限,缺点是路由器复杂,网络成本高; 后者无网络资源障碍,尽力而为,优缺点与前者互易，适合于想学习计算机网络相关知识的人群，内容简单易懂且比较完整。

介绍标准建模语言UML的重要内容可以由哪五类图(共9种图形)来定义？用例图、静态图（包括类图、对象图和包图）、行为图、交互图和实现图，以及敏捷开发的特点和目的是什么，软件工程三要素中的过程敏捷开发的特点和目的，什么是RUP软件开发过程？它的优势是什么？用户需求描述的是用户的目标，或用户要求系统必须能完成的任务。功能需求规定开发人员必须在产品中实现的软件功能，用户利用这些功能来完成任务，满足业务需求。类图是描述类、接口、协作以及它们之间关系的图，用来显示系统中各个类的静态结构。 类图中允许出现的模型元素只有类和它之间的关系。 类图的另一种表示是用类的具体对象代替类，这种表示方法是类图的变种，称作对象图。 对象图： 描述的是参与交互的各个对象在交互过程中某一时刻的状态。 对象图被看作是类图在某一时刻的连接关系。适合于想学习UML相关知识的人群，内容简单易懂且比较完整。

记录互联网的作用，数据通信，资源共享，提高系统的可靠性，分布处理 协议有三要素：语法、语义、同步，网络性能指标：速率、吞吐量、带宽、时延、时延带宽积、往外时间RTT、利用率（信道利用率和通信利用率），电路交换、分组交换、报文交换的特点，网卡的功能，以太网交换机的特点、自学习功能，ICMP 协议：ICMP 协议的作用、Ping 命令的原理，RIP 路由协议：基本特点、工作要点，OSPF 路由协议：基本特点、工作要点，端口、端口号及其分类。等计算机专业知识，还涉及到CRC计算，以及学会距离向量算法等，了解有关ip的知识，按五层协议体系结构，将本文分成一共六个章节，分别为第一张为概述，剩下依次为物理层，数据链路层，网络层，传输层，应用层相关知识，适合于想学习与计算机相关知识的人群，内容简单易懂且比较完整。

创建临时节点、创建序列节点、节点值变化监听、子节点路径变化监听（节点名与自己名字相关） 添加一个用户（名字：密码），创建一个节点授权给用户，permissions为cdrw；修改权限为rw 创建一个节点，分配IP访问权限 创建一个super超级管理员用户，并验证获取ip访问权限节点的权限 使用Python-api实现列出节点、创建节点、获取节点数据、修改节点数据、删除节点、获取节点ACL等代码编写 使用python-api实现使用超级用户授权连接，并验证 Zookeeper实现主机上下线感知，linux主机名与ip地址使用python程序自动获取 适合于学习与Hadoop相关知识的人群，内容简单易懂且比较完整。

掌握zookeeper分布式部署,掌握使用shell客户端操作zookeeper 在hadoop 集群的主机上实现zookeeper分布式部署,使用shell客户端连接zookeeper,创建节点与5个子节点每个节点中的数据自定义： /名字/名字1 。。。名字5 任意读取3个节点中的数据 任意更新3个节点中的数据 删除2个子节点 1.Zookeeper使用的基本时间，服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime时间就会发送一个心跳，时间单位为毫秒。 2.编辑myid文件，在文件中添加服务器的编号时，要小心不要打错 3.从hadoop01同步zookeeper目录到hadoop02、hadoop03用xsynx 4.配置zoo.cfg,2888是这个服务器Follower与集群中的Leader服务器交换信息的端口；3888是万一集群中的Leader服务 适合于想学习与hadoop相关知识的人群，内容简单易懂且比较完整。

掌握数据源ETL操作,掌握HIVE实现离线数据分析并实现可视化报表 A.创建momo聊天数据库与表 B.对数据源进行ETL操作 C.统计今日消息总量 D.统计每小时消息量、发送和接收用户数 E.统计各地区接收消息数据量 F.统计今日发送消息和接收消息的用户数 G.统计今日接收、发送消息最多的TOP10用户 H.统计接收人的手机型号分布情况 I.统计接收人的设备操作系统分布情况 J.使用FineBi实现数据可视化报表 一、列分隔符：制表符 \t,然后load上传到HDFS并验证 二、Where对字段为空的不合法数据进行过滤， 三、Substr通过时间字段构建天和小时字段 四、Split从GPS的经纬度中提取经度和维度 五、将ETL以后的结果保存到一张新的Hive表中用Create table.....as select.... 六、from确定待查询的数据表,group by 分组字段找出分析的维度 七、聚合的字段找出计算的指标count(id)就是统计每个分组中的人数，avg(age)就是统计每个分组中年龄的平均年龄 适合于想学习与hadoop相关知识的人群，内容简单易懂且比较完整

掌握HQL创建数据库，掌握HQL创建内部表、外部表、分区表 使用有location 和无location创建HIVE数据库，库名与自己的名字相关； 在数据集目录中选取2个数据文件内部表创建表，选取2个数据文件创建外部表。 使用美国疫情数据创建分区表 疫情数据实现静态和动态加载数据到分区表 自己构建疫情数据实现多重分区表 使用美国疫情数据实现桶表 修改mysql数据库支持中文 location用于指定数据库在HDFS存储位置。 不使用location关键字：代表存放在默认/user/hive/warehouse下。 使用location关键字：代表存放在指定路径。 使用show查看数据库是否建立成功。 创建表： hive默认的字符间分隔符SOH（‘/001’），如果不指定正确的分隔符，数据文件就无法被正确映射. 内部表（托管表）：删除表时，数据文件将被删除。 外部表：创建表时，加上external,表示创建的为外部表。删除表时，数据不会被删除。