![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop-hive
CalicoBox
人生苦短,唯有全栈。青青子衿,还有诗意。
进了大数据的坑,走的磕磕绊绊,想想还是帮后来人把坑填一填吧。
(关于博客,内容全是记录在xx云笔记上的杂物,当时没有想到会要搬到博客上,所以有些内容会与其他博客相同,毕竟就是复制粘贴的,若有侵权,告知必改!还望谅解。)
展开
-
python连接hive
pyhs2的作用HiveServer2为客户端在远程执行hive查询提供了接口,通过Thrift RPC来实现,还提供了多用户并发和认证功能。目前使用python的用户可以通过pyhs2这个模块来连接HiveServer2,实现查询和取回结果的操作。pyhs2的安装按理说要安装pyhs2其实是很简单的,有pip直接运行“pip install pyhs2”就原创 2017-07-14 10:02:18 · 1171 阅读 · 0 评论 -
无法启动hiveserver的解决方法
已经木有hiveserver了。。。请使用hiveserver兔!SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]Exception in thread "main" java.lang.ClassNotFoundException: org.apache.hadoop.hive.service原创 2017-07-14 10:27:54 · 1874 阅读 · 0 评论 -
Hive及相关功能使用文档
使用Hive存储数据hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。这里我们需要对学校nginx服务器上的日志进行分析,我们选择通过原创 2017-07-14 11:00:58 · 948 阅读 · 0 评论 -
Hive分区的概念
在使用sqoop进行Hive与关系数据库的导入导出时,在sqoop的命令中看到有对Hive分区进行指定的参数,之前对Hive了解并不够细致,今天就专门对Hive的分区和分桶两个概念进行的实验。在正文开始之前,先讲一下我对Hive分区、分桶的理解。这个东西吧,其实就是一种物理上的“索引”,将总数据按规则分装到各个小区中并打上标签,查询指定标签的数据时只用遍历该小区的数据即可(原本需要遍历所有数据)。一下就懂了。原创 2017-07-24 17:20:54 · 7449 阅读 · 1 评论 -
Hive分桶概念
相较于分区,分桶的粒度更小,而且与分区不同的是,分区是人为设定分区字段建立一个用于管理的“伪列”,而分桶是按照某列的属性值的Hash计算结果进行区分。原创 2017-07-24 17:24:18 · 1579 阅读 · 0 评论 -
Hive既分区又分桶
Hive同时进行分区和分桶原创 2017-07-24 17:26:52 · 2103 阅读 · 0 评论 -
无法启动hiveserver的解决方法
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]Exception in thread "main" java.lang.ClassNotFoundException: org.apache.hadoop.hive.service.HiveServer at java.net.URLClassL原创 2017-08-04 17:29:04 · 1821 阅读 · 0 评论