一般我们分析大数据,也许会想到Spark、Storm,但前提得会JAVA等编程语言,不然拿到数据也无法做分析。而Hive而解决了这个问题,只需要会Sql语言即可做mapreduce的大数据分析任务。今天我们创建测试数据用Hive进行mapreduce的实际分析。
一、先安装好Hive、Mysql环境
1、在昨天hdfs的基础上,安装Hive、Mysql。
2、因Hive依赖于Mysql存储元数据、依赖于Hdfs存储cell数据,在Hive中配置好Mysql的帐号、密码。
3、在Mysql中创建Hive数据库,新建Mysql的数据库帐号、密码。
二、创建测试数据
1、创建file测试数据
cd /usr/local/hadoop
mkdir input
echo "hello world" >file1.txt
echo "hello hadoop" >file2.txt
2、进入hive,将file导入到hive数据表中
hive> create table docs(line string); //创建仅有一个列元素的表
hive> load data local input '/usr/local/hadoop/input' overwrite into table docs; //将input目录下的file1、file2倒入hive docs表格中。