- 博客(2)
- 收藏
- 关注
原创 hive优化及数据倾斜总结
在对hive进行优化之前应理解mapreduce的原理map task程序会根据InputFormat将输入文件分割成splits,每个split会作为一个map task的输入,每个map task会有一个内存缓冲区,输入数据经过map阶段处理后的中间结果以及Partition结果都序列化成字节数组写入到缓冲区,而整个内存缓冲区就是一个字节数组。缓冲区的作用:批量收集map结果,减少...
2018-08-13 10:56:23 2004
原创 Windows下安装mysql-8.0.12-winx64
1.首先在官网上下载mysql,注意自己的电脑是32位的还是64位的。https://dev.mysql.com/downloads/mysql/2.配置环境变量:变量名:MYSQL_HOME变量值:E:\mysql-5.7.20-winx64path里添加:%MYSQL_HOME%\bin;3 接下来我们需要配置下 MySQL 的配置文件打开刚刚解压的文件夹 C:\w...
2018-08-09 13:57:40 706
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人