会哭的雨@的博客

0. Hive源码包下载http://mirror.bit.edu.cn/apache/hive/1. 下载软件包wget http://mirror.bit.edu.cn/apache/hive/hive-2.3.3/apache-hive-2.3.3-bin.tar.gztar zxvf apache-hive-2.3.3-bin.tar.gz2. 创建HDFS目录hadoop fs -mkdir -p /data/hive/warehouse hadoop fs -..

MR基础原理1.mapreduce 处理大数据，处理大数据的不一定是mapreduce2.传统处理大数据的场景：hash方法2.1 a=5 -----a%3,取余的方式，余数会<=3，找到不同的桶号，负载均衡，分发压力，通过这个hash方法。2.2 Hash 代码示例#导入一个随机数库 import random print random.random() 0.33966638322 print random.random() 0.63803832923 pri

0. Hadoop源码包下载http://mirror.bit.edu.cn/apache/hadoop/common1. 集群环境Master 172.16.11.97Slave1 172.16.11.98Slave2 172.16.11.992. 下载安装包#Masterwget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gztar zxvf hadoop-2