Hadoop
文章平均质量分 79
鲁边
大数据生态践行者
展开
-
Hive存储格式之ORC File详解,什么是ORC File
ORC并不是一个单纯的列式存储格式,它也遵循了先水平分区,再垂直分区的理念,采用混合存储结构。除了Hive,目前也被Spark SQL,Flink,Presto,Impala等查询引擎支持。原创 2022-08-25 09:55:20 · 2882 阅读 · 2 评论 -
Hive存储格式之RCFile详解,RCFile的过去现在和未来
我在整理Hive的存储格式和压缩格式,本来打算一篇发出来,结果其中一小节就有很多内容,于是打算写成Hive存储格式和压缩格式系列文章。原创 2022-08-14 20:13:44 · 915 阅读 · 2 评论 -
什么是hive的静态分区和动态分区,hive动态分区详解
关于hive的静态分区和动态分区怎么用,又有什么区别呢,hive动态分区详解原创 2022-08-07 17:55:42 · 2570 阅读 · 0 评论 -
关于hive分区,你知道多少呢?
在Hive Select查询中一般会扫描整个表内容,会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据,因此建表时引入了partition概念。原创 2022-08-01 22:26:57 · 1933 阅读 · 0 评论 -
Hadoop的shell操作命令收集
Hadoop常用的操作命令:- - ls使用方法:hadoop fs -ls [-h] [-R] <args>功能:显示文件、目录信息。示例:hadoop fs -ls /user/hadoop/file1- - mkdir使用方法:hadoop fs -mkdir [-p] <paths>功能:在 hdfs 上创建目录,-p 表示会创建路径中的各级父目录。示例:hadoo...原创 2018-03-11 11:43:28 · 416 阅读 · 0 评论 -
Sqoop导入sqlserver数据到HDFS和hive上的配置需求及问题
Sqoop导入sqlserver数据到HDFS和hive上的配置需求及问题 1.安装,下载安装包解压即可 2.在系统环境变量中设置HADOOP_HOME,指向安装目录; 3. 3.在系统环境变量中设置SQOOP_HOME与SQOOP_CONF_DIR;SQOOP_HOME = sqoop安装的根目录;SQOOP_CONF_DIR=$SQOOP_HOME/conf; 4.首先配置jdbc的SqlSe...原创 2018-05-10 17:13:57 · 1059 阅读 · 0 评论 -
sqoop从sqlserver导入数据操作指令及hive创建表过程
sqoop从sqlserver导入数据操作指令及hive创建表过程原创 2018-05-10 17:15:59 · 6621 阅读 · 0 评论 -
sqoop全量导入与增量导入sqlserver数据
sqoop全量导入与增量导入sqlserver数据1.全量导入正常导入即可2.增量导入sqoop支持两种增量导入到hive的模式, 一种是 append,即通过指定一个递增的列,(如果没有可以插入一列自增的数)比如: --incremental append --check-column id --last-value 0 另一种是可以根据时间戳,比如: --incremental lastmo...原创 2018-05-11 14:08:37 · 1754 阅读 · 0 评论 -
sqoop定时导入(全量+增量)sqlserver数据到HDFS
sqoop定时导入(全量+增量)sqlserver数据到HDFS增量导入采用创建sqoop job的形式,定时加载job即可创建jobbin/sqoop job \--create s_ods_ol_user_app \-- import \--connect 'jdbc:sqlserver://10.31.24.236:1433;database=ODS_DB_V3' \--usern...原创 2018-05-14 18:48:44 · 3559 阅读 · 0 评论