彷徨的博客

目录1、面向对象的特征有哪些方面? 2、访问修饰符public,private,protected,以及不写（默认）时的区别？3、String 是最基本的数据类型吗?4、float f=3.4;是否正确?5、short s1 = 1; s1 = s1 + 1;有错吗?short s1 = 1; s1 += 1;有错吗?6、Java 有没有goto?7、int 和Inte...

1、Operation category READ is not supported in state standby是什么原因导致的org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state st...

1、简答说一下hadoop的map-reduce编程模型首先map task会从本地文件系统读取数据，转换成key-value形式的键值对集合使用的是hadoop内置的数据类型，比如longwritable、text等将键值对集合输入mapper进行业务处理过程，将其转换成需要的key-value在输出之后会进行一个partition分区操作，默认使用的是hashpartitioner，...

Spark on Yarn面试篇04本篇题集主要是Spark on Yarn相关的面试题，主要涉及Spark on Yarn、Yarn、Mapreduce相关面试题。1、MRV1有哪些不足1)可扩展性（对于变化的应付能力）a) JobTracker内存中保存用户作业的信息b) JobTracker使用的是粗粒度的锁2)可靠性和可用性a) JobTracker失效会多事集群中所有...

Spark Core面试篇011、Spark master使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？答：spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置，包括Worker，Driver和Application以及Executors。standby节点要从zk中，获得元数据信息，恢复...

1、spark中的RDD是什么，有哪些特性RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。Dataset：就是一个集合，用于存放数据的Distributed：分布式，可以并行在集群计算Resilient：表示弹性的弹性表示1、RDD中的数据可以存储...

1、driver的功能是什么？1）一个Spark作业运行时包括一个Driver进程，也是作业的主进程，具有main函数，并且有SparkContext的实例，是程序的人口点；2）功能：负责向集群申请资源，向master注册信息，负责了作业的调度，，负责作业的解析、生成Stage并调度Task到Executor上。包括DAGScheduler，TaskScheduler。2、spark的有几...

1、触发器的作用？触发器是一中特殊的存储过程，主要是通过事件来触发而被执行的。它可以强化约束，来维护数据的完整性和一致性，可以跟踪数据库内的操作从而不允许未经许可的更新和变化。可以联级运算。如，某表上的触发器上包含对另一个表的数据操作，而该操作又会导致该表触发器被触发。2、什么是存储过程？用什么来调用？存储过程是一个预编译的SQL语句，优点是允许模块化的设计，就是说只需创建一次，以后在...

1、MapReduced的工作流程输入分片（inputsplit）：在进行map计算之前，mapreduce会根据输入文件计算输入分片（input split），每个输入分片（input split）针对一个map任务；存储的并非数据本身，而是一个分片长度和一个记录数据的位置的数组，输入分片（input split）往往和hdfs的block（块）关系很密切map阶段：程序员编写好的map...

1、SQL的select语句完整的执行过程SQL Select语句完整的执行顺序：1、from 子句组装来自不同数据源的数据；2、where 子句基于指定的条件对记录行进行筛选；3、group by 子句将数据划分为多个分组；4、使用聚集函数进行计算；5、使用 having 子句筛选分组；6、计算所有的表达式；7、select 的字段；8、使用 order by 对结果集进行...

一：Java面向对象1、面向对象都有哪些特性以及你对这些特性的理解1）继承：继承是从已有类得到继承信息创建新类的过程。提供继承信息的类被称为父类（超类、基类）；得到继承信息的类被称为子类（派生类）。继承让变化中的软件系统有了一定的延续性，同时继承也是封装程序中可变因素的重要手段。2） 封装：通常认为封装是把数据和操作数据的方法绑定起来，对数据的访问只能通过已定义的接口。面向对象的本质就是将...

1、HashMap 排序题已知一个 HashMap<Integer，User>集合， User 有 name（String）和 age（int）属性。请写一个方法实现对HashMap 的排序功能，该方法接收 HashMap<Integer，User>为形参，返回类型为 HashMap<Integer，User>，要求对 HashMap 中的 User 的 a...

1、kafka的message包括哪些信息一个Kafka的Message由一个固定长度的header和一个变长的消息体body组成header部分由一个字节的magic(文件格式)和四个字节的CRC32(用于判断body消息体是否正常)构成。当magic的值为1的时候，会在magic和crc32之间多一个字节的数据：attributes(保存一些相关属性，比如是否压缩、压缩格式等等)；如果...

1 . 下面哪个程序负责 HDFS 数据存储？（C）A.NameNodeB.JobTrackerC.DataNodeD.SecondaryNameNodeE.tasktracker2 . HDFS 中的 block 默认保存几份？（A）A.3 份B.2 份C.1 份D.不确定3 . 下列哪个程序通常与 NameNode 在一个节点启动？（D）A.Se...

目录43.Java 中的两种异常类型是什么？他们有什么区别？44.Java 中 Exception 和 Error 有什么区别？45.1 throw 和 throws 有什么区别？45.2 异常处理的时候，finally 代码块的重要性是什么？46.异常处理完成以后，Exception 对象会发生什么变化？47.finally 代码块和 finalize()方法有什么区别？...

目录面向对象编程（OOP）封装多态继承抽象抽象和封装的不同点1.什么是 Java 虚拟机？为什么 Java 被称作是“平台无关的编程语言”？2.JDK 和 JRE 的区别是什么？3.”static”关键字是什么意思？Java 中是否可以覆盖(override)一个 private 或者是 static 的方法？     4.是否可以在 static 环境中访...

1、driver的功能是什么？1、一个Spark作业运行时包括一个Driver进程，也是作业的主进程，具有main函数，并且有SparkContext的实例，是程序的人口点；2、功能：负责向集群申请资源，向master注册信息，负责了作业的调度，，负责作业的解析、生成Stage并调度Task到Executor上。包括DAGScheduler，TaskScheduler。2、spark的...