- 博客(2)
- 收藏
- 关注
RSS订阅原创 hive优化及数据倾斜总结
在对hive进行优化之前应理解mapreduce的原理 map task 程序会根据InputFormat将输入文件分割成splits，每个split会作为一个map task的输入，每个map task会有一个内存缓冲区，输入数据经过map阶段处理后的中间结果以及Partition结果都序列化成字节数组写入到缓冲区，而整个内存缓冲区就是一个字节数组。缓冲区的作用：批量收集map结果，减少...
2018-08-13 10:56:23
1946
原创 Windows下安装mysql-8.0.12-winx64
1.首先在官网上下载mysql，注意自己的电脑是32位的还是64位的。 https://dev.mysql.com/downloads/mysql/ 2.配置环境变量： 变量名：MYSQL_HOME 变量值：E:\mysql-5.7.20-winx64 path里添加：%MYSQL_HOME%\bin; 3 接下来我们需要配置下 MySQL 的配置文件 打开刚刚解压的文件夹 C:\w...
2018-08-09 13:57:40
677
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人