Hadoop
思念在延续
这个作者很懒,什么都没留下…
展开
-
hive启动hiveserver2连接JDBC报错:root is not allowed to impersonate root (完美解决方案)
在服务端启动: hive --service hiveserver2 & 客户端:beeline 回车 !connect jdbc:hive2://ip:10000 回车 输入用户名 回车 输入密码 回车于是乎报错:注意:很多博客给出的答案是在hadoop的core-sit.xml下添加如下字段(客户端、服务端、数据库中的hadoop都需要...原创 2020-04-27 13:22:50 · 1668 阅读 · 8 评论 -
shuffle流程整理
1. 从map函数输出到reduce函数接受输入数据,这个过程称之为shuffle.2. map函数的输出,存储环形缓冲区(默认大小100M,阈值80M) 环形缓冲区:其实是一个字节数组kvbuffer. 有一个sequator标记,kv原始数据从左向右填充(顺时针), kvmeta是对kvbuffer的一个封装,封装成了int数组,用于存储kv原始数据的对应的元数据valsta...原创 2020-04-27 09:45:26 · 411 阅读 · 0 评论