hive
小~蜉蝣
这个作者很懒,什么都没留下…
展开
-
hive中map/reduce数量的问题
hive的map和reduce数量如何确定map的数量确定map的数量:主要决定因素有input文件的总个数,input中文件的大小,集群设置的文件块大小(默认128M,可在hive shell中通过set dfs.block.size查看)三种举例:文件不足128M则当做一个块,大于128M则拆分input目录下有七个文件,大小均为64M,则共7个mapinput目录下有10M,1...原创 2019-11-03 22:39:23 · 1119 阅读 · 0 评论 -
spark操作hive初实验
spark操作hive初实验IDEA基于mave搭建spark操作hive环境pom.xml配置如下<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSc...原创 2019-10-29 10:48:24 · 298 阅读 · 0 评论