本文介绍了在一个Hadoop集群上使用Hive进行数据处理的完整流程，包括开启Hadoop集群、数据导入、数据库创建、数据清洗、数据加载、数据查询以及使用UDF进行特定统计。在实验中，对历史微博和用户注册数据进行了处理，统计了微博数量、用户数量，并实现了自定义函数（UDF）以统计包含'iphone'的微博数。遇到的内存问题通过查询和调整虚拟机内存得到解决。
1.在实验前开启Hadoop集群
master：start-dfs.sh
slave1: satart-yarn.sh
注：namenode出现安全模式解决办法 hdfs dfsadmin -safemode leave
2.数据准备
将实验所有数据导入虚拟机中。
推荐路径
历史微博数据：/root/data/weibo
用户注册数据：/root/data/user
3.将存放历史微博数据合并
cd/root/data/weibo
4.创建实验所需要用到的数据库：
create database 数据库名；
use 数据库；
最低0.47元/天 解锁文章
586
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
