大数据
xtf__moji
这个作者很懒,什么都没留下…
展开
-
hive索引
hive的索引包括三种:Local Index、Cube和Global Index。接下来分别进行介绍。通俗的说:global index,标记记录在哪个文件。local index,标记记录在单个文件里哪个位置。cube,类似local index,同时对多个字段做索引。Local Index是将列式存储的每个单元看作整体建立的。Local Index的创建采用了字典编码技术。相对...原创 2019-10-15 14:48:37 · 1106 阅读 · 0 评论 -
C#通过ODBC方式连接Hive方法
C#通过ODBC方式连接Hive方法C#连接hive,有两种办法:方法一:使用驱动程序,增加dll,连接语句中写好db路径,用户名,密码。方法二:使用数据源,在windows和vs种配置好数据源。使用方法一的时候,配置失败了,有个dll文件没法引用,所以使用了方法二。1,安装软件MapRHiveODBC32.msiMapRHiveODBC64.msi根据自己主...原创 2019-10-14 17:04:32 · 2633 阅读 · 2 评论 -
Hive:四大表类型内部表、外部表、分区表和桶表
参考资料:Hive(7):Hive四大表类型内部表、外部表、分区表和桶表https://blog.csdn.net/u010886217/article/details/837961512.外部表(1)适用情形: 当一份日志需要多个小组一起分析,分析完了之后创建的表就可以删除了。但是普通的表删除的同时也会把数据删除,这样就会影响到其他小组的分析,而且日志数据也不能随便删...原创 2019-09-22 13:52:24 · 241 阅读 · 0 评论 -
sqoop一些语法的使用
sqoop一些语法的使用https://www.cnblogs.com/xuyou551/p/7991973.html--verbose 打印详细的运行信息数据导入工具importimport工具,是将HDFS平台外部的结构化存储系统中的数据导入到Hadoop平台,便于后续分析。--append 将数据追加到HDFS上一个已存在的数据集上-m,--num-...转载 2019-09-23 08:46:20 · 177 阅读 · 0 评论