Hive
大数据爱好者
这个作者很懒,什么都没留下…
展开
-
Hive查询慢的那点事
当你用jdbc对HiveServer2做一些查询的时候,有时候会遇到一些延时,为了查找原因,我们可以收集jstack dump日志,它可以把Hiveserver2进程的所有线程的callstack打印出来提供你分析,那么如何分析jstack日志呢?1,一般情况下如果callstack发现有org.apache.thrift.server.TServlet.doPost function,那么就可...原创 2019-11-03 17:21:28 · 5919 阅读 · 0 评论 -
Hive性能测试
Hive性能测试有时候我们需要对Hive cluster做性能测试,如下的代码就是用多线程的方式对hive查询,300个线程作查询,从而测试hive的返回速度。package jdbc; import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;//import java....原创 2019-10-15 21:16:37 · 1815 阅读 · 0 评论 -
简单介绍什么是Hive
简单介绍什么是Hive什么是HiveHive是在Hadoop中处理结构化数据的数据仓库基础设施工具。它位于hadoop之上,针对大数据,使查询和分析变得简单。最初Hive是由FaceBook开发的,后来Apache软件基金会采用了它,并以Apache Hive的名字作为一个开放源代码进行了进一步的开发。它被不同的公司使用。例如,Amazon Elastic MapReduce, Microso...原创 2019-11-03 17:15:34 · 2308 阅读 · 0 评论 -
如何Load TXT 到HDInsight Hive table
如何Load TXT 到HDInsight Hive table记得以前做过一个小项目,需要把客户整理的TXT导入到数据库,然后结合客户的需求统计分析特定条件的报表,比如表的schema为:time, name, meeting, level。需求统计特定的时间有多少人开过会等等。迁移txt到数据库的方法有很多,比如:SSIS或者开发entity framework,读txt文件内容,然后写到...原创 2019-10-06 21:29:57 · 188 阅读 · 0 评论 -
如何迁移HDInsight Hive Table到Azure SQL Database
如何迁移HDInsight Hive Table到Azure SQL Database在我写的博客里提到过如何Load TXT 到HDInsight Hive table https://blog.csdn.net/weixin_44953126/article/details/102254360那么如何把Hive table迁移到Azure SQL Database呢?迁移到Azure SQ...原创 2019-10-07 15:37:30 · 172 阅读 · 0 评论 -
Hive查询慢的那点事2
Hive查询慢的那点事2有时候我们收集了HS2的Jstack dump后,你会发现有好多threads pending on waiting for specific thread, 这个specific thread在写debug log,如何Disk I/O不给力,也会导致Hive Query慢的情况,这样我们就需要disable Hive Debug log来提高Hive查询的速度。具体...原创 2019-10-08 20:53:49 · 3294 阅读 · 0 评论