- 博客(6)
- 收藏
- 关注
RSS订阅原创 面试（1）SQL
有两张表及其测试数据，如下 部门表dep dept_id dept_name 部门编号 部门名称 D1 部门1 D2 部门2 D3 部门3 D4 部门4 D5 部门5 员工表emp emp_id emp_lname emp_fname birthday gender dept_id emp_wage 员工编号 员工姓 员工名 出生日期 性别 部门编号 工资 E1 张 三 1995-03-10 男 D1 2200 E2 李 四 1987-01-11 男 D1 3000 E3 王 五 1991-04-09 女
2020-05-25 13:19:14
292
原创 大数据面试(Hive优化)
Hive优化 MapJoin 如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作转换成Common Join，即：在Reduce阶段完成Join，容易发生数据倾斜，可以用MapReduce把小表全部加载到内存，在map端进行join，避免reduce处理 行列过滤 列处理：在select中，只拿需要的列，如果有，尽量使用分区过滤，少用select * 行处...
2020-04-23 21:41:30
273
原创 大数据面试总结（一）
HDFS 1.HDFS的写流程 2.HDFS的Shuffle过程 3.数据复制规则（机架感知，心跳机制） Hive 1.数据从MySQL拉取到Hive中，利用Sqoop，是全量导入还是增量导入？ 答：(针对不同类型的数据采取不同的导入策略)例如昨天一天的订单就全量导入，因为每一天的订单，全部都要汇总分析；新增用户就采用增量导入，新增用户数量不会出现很大的改变，所以采用增量导入的方式(增量导入方式分...
2020-04-22 21:07:47
394
原创 Hive复习之数据库的基本操作
1.Hive库、表的特点 hive有默认库default，如果不指定，则使用的是默认库 Hive的数据库名、表名都不区分大小写 名字不能使用数字开头、不能使用关键字、尽量不使用特殊字符 create table if not exists t1( uname string comment 'this is name', chinese int, math int, english int ) ...
2020-04-21 21:02:00
172
原创 Hive复习之基础知识
1.Hive入门 1.1什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据映射为一张表，并提供类SQL的查询功能。 特点：1.Hive的底层是将HQL转化称MapReduce程序 2..Hive处理的数据存储在HDFS上 3.执行程序运行在Yarn 1.2Hive的优缺点 优点 缺点 1.采用类SQL的语法，简单、容易上手 1.由于底层是...
2020-04-21 16:34:06
208
原创 排序算法之快速排序(java+Scala)
JAVA排序算法之快速排序 简述 快速排序是一种执行效率很高的排序算法，利用分治的思想，设置一个基准数，将所有比基准数小的放在标识数的左边，比基准数大的放在基准的右边，通过递归，将整个数组排序。 //java代码 public class QuickSort { public static void quickSort(int[] arr,int left, int right){ ...
2020-04-02 21:56:42
106
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人