晓晓的天空

数据质量与数据治理相关内容汇总整理

hive数据库操作、Impala操作、sqoop数据同步 面试心经

1，MapReduce的工作流程（1）input：输入文件（2）split：客户端将每个block块切片（逻辑切分），每个切片都对应一个map任务，默认一个block块对应一个切片和一个map任务，split包含的信息：分片的元数据信息，包含起始位置，长度，和所在节点列表等；每一片都由一个MapTask来处理。（3）map：按行读取切片数据，组成键值对，key为当前行在源文件中的字节偏移量，value为读到的字符串；map函数对键值对进行计算，输出<key,value,partition（分区号

一．数据库开发1．Oracle数据库，视图与表的区别？ 表是作为oracle数据库存储数据的一种数据结构，视图是从已存在表上抽出逻辑相关的数据集合，其本身和表的区别不大，都是对数据一种存储，只不过我们可以在已有表的基础上抽取一部分我们想要的数据，视图是已经编译好的sql语句。 表有实际的物理记录，视图没有，表只用物理空间而视图不占用物理空间，视图只是逻辑概念的存在，表可以及时对它进行修改，但视图只能有创建的语句来修改，表是内模式，视图是外模式，视图是查看数据表的一种方法，...