HIVE
HIVE
xcagy
CAGY官方博客
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
论数据库的中文字段好处
我们先来看一张表 设想一下,假如我们把所有字段都改成英文,一定是一场灾难。 然后我们在看看过去若干年的评论还有教科书上的规范要求,都是尽量不要用中文字段,以至于老师、同学、同事、都是这么约定俗成的方式。 其实时代在进步,既然是允许,既然存在,就有存在的道理 之前的问题、或者之前对中文字段的偏见,都是因为一个原因导致的,那就是乱码 所以,只要你能控制或者处理乱码的问题,其实可以大胆使用中文字段,特别是这种字段特别多的情况下 这时候你 ...原创 2021-12-30 17:27:56 · 1009 阅读 · 0 评论 -
sqoop(hive到pgsql)
hive="/usr/bin/hive" field_segmentation="\001" source_database="postgres" source_username="postgres" source_pwd="" source_ip="" source_port="5432" source_pgsqldb="" external_storage_path="/user/hive/warehouse/文件路径" if [ -n "$1" ] ;then do_day=$1 els..原创 2021-11-10 10:30:57 · 1659 阅读 · 6 评论 -
SQOOP(hive抽取到hive)
hive='/usr/bin/hive' hive_database='cagy' if [ -n "$1" ] ;then do_day=$1 else do_day=`date -d "-1 day" +%F` fi str_sql="\ use $hive_database; with a as (select * from table where dt='2222-22-22') insert overwrite table 被插入的表名字 partition(dt...原创 2021-11-10 10:28:02 · 1920 阅读 · 0 评论 -
用SQOOP抽取Oracle到HIVE
# 定义变量名字 hive='/usr/bin/hive' hive_database='' field_segmentation='\001' external_storage_path='/user/hive/warehouse/qi_tcte/ods' source_database='' source_username='' source_pwd='' source_ip='' source_port='1521' # 日期格式为 yy-MM-dd 2020-01-01 if [ -n "$1.原创 2021-11-10 10:09:23 · 2161 阅读 · 0 评论 -
Sqoop抽取hive字段错位的解决办法
1.观察是不是设置了分隔符 2.select的时候把每一个字段都写出来 3.检测原表的字段顺序和目标表的字段顺序是否一致原创 2021-11-01 16:56:25 · 834 阅读 · 0 评论 -
sqoop从oracle抽数脚本
hive='/usr/bin/hive' hive_database='xxxxx' field_segmentation='\001' external_storage_path='/user/hive/warehouse/xxx/odsxxx' source_database='xxx' source_username='xxx' source_pwd='xxxx' source_ip='xxx' source_port='1521' if [ -n "$1" ] ;then do_day=..原创 2021-10-21 15:53:28 · 782 阅读 · 0 评论 -
HIVE分区表插入数据SQL
with a as (select * from xxx) insert overwrite table dwd_oa_col_summary partition(dt='$do_day') select 1,2,3; --查询的值和表字段数量一致就行原创 2021-10-09 09:57:46 · 861 阅读 · 0 评论 -
HIVE简单操作命令
beeline beeline> !connect jdbc:hive2://192.168.2.2:10000 hdfs 回车回车 直接用默认表,不需要配置权限 create table st(id int,name string) row format delimited fields terminated by ","; insert into st(id,name) values(1,'萨达') ...原创 2020-08-26 16:14:44 · 149 阅读 · 0 评论 -
web-kettle连接hive的秘籍HDP和CDH
CDH 直接去官网下载HiveJDBC4.jar,丢到tomcat的lib目录下即可 HDP 好像还是要改C:\kettle7.1.0\plugins\pentaho-big-data-plugin\plugin.properties 改了就可以连了 连不上再想办法原创 2020-08-26 16:06:58 · 394 阅读 · 0 评论 -
HIVE获取大于当天的时间戳
SELECT unix_timestamp(from_unixtime(unix_timestamp(),'yyyy-MM-dd 00:00:00')); 获取当天0点开始的时间戳原创 2020-02-20 11:31:13 · 3522 阅读 · 0 评论
分享