![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
实战面试题
time在左在右
裁诗为骨记昔年,我本云端一散仙。
展开
-
Hadoop工程师面试题:使用linux命令完成文本处理
某个目录下有两个文件a.txt和b.txt,文件格式为(ip,username),列如:a.txt127.0.0.1 zhangsan127.0.0.1 wangxiaoer127.0.0.2 lisi127.0.0.3 wangwub.txt127.0.0.4 lixiaolu127.0.0.1 lisi每个文件至少100万行,请使用Linux命令完成如下工作:1)每个文件...转载 2019-07-25 11:09:44 · 381 阅读 · 0 评论 -
sqoop导数据遇到的部分问题
在导入hive的时候,如果数据库中有blob或者text字段,会报错,解决方案:clob:在将数据由Oracle数据库导入到Hive时,发现带有clob字段的表的数据会错乱,出现一些字段全为NULL的空行。由于在项目中CLOB字段没有实际的分析用途,因此考虑将CLOB字段去掉。同时,为了防止CLOB字段产生一些问题,因此将HIVE中CLOB字段禁用,禁用的方式如下:[Hadoop@mast...原创 2019-07-25 11:37:18 · 2878 阅读 · 0 评论 -
集群规模、mysql与hbase区别
1. hbase与mysql的区别①定义:a)MySQL:关系型数据库,主要面向OLTP,支持事务,支持二级索引,支持sql,支持主从、Group Replication架构模型(此处以Innodb为例,不涉及别的存储引擎)。b)HBase:基于HDFS,支持海量数据读写(尤其是写),支持上亿行、上百万列的,面向列的分布式NoSql数据库。天然分布式,主从架构,不支持事务,不支持二级索引,不支...原创 2019-07-25 11:40:26 · 606 阅读 · 0 评论