HIVE表的迁移（外部表到内部表并压缩数据）

最新推荐文章于 2024-01-04 09:13:55 发布
最新推荐文章于 2024-01-04 09:13:55 发布
阅读量1.3k 收藏 3
点赞数
分类专栏： 开发工具 HIVE 文章标签： ETL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaowei0548/article/details/102783832
版权

Hive表迁移至压缩表：
1、 压缩方式选择（经测试选择snappy）
2、 创建Hive内部表（主要是后面Rename的时候可以将location改成对应的位置）

CREATE **TABLE** `ods_adv.ods_advt_user_operation_basic_2_tmp`(
`android_id` string COMMENT '', 
  `google_id` string COMMENT '', 
  `bat_id` string COMMENT '', 
  `log_time` string COMMENT '', 
  `auto_time` bigint COMMENT '')
PARTITIONED BY ( 
  `dt` string)
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.serde2.columnar.LazyBinaryColumnarSerDe' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.RCFileInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.RCFileOutputFormat'
LOCATION
  'hdfs://ns/apps/hive/warehouse/ods_adv.db/ods_advt_user_operation_basic_2_tmp'
TBLPROPERTIES (
  **'orc.compress'='SNAPPY'**
)

3、 将外部表（原来ODS数据表）的数据insert overwrite 第二步的表

set hive.exec.dynamic.partition.mode=nonstrict;
SET hive.merge.mapfiles = true;
SET hive.merge.mapredfiles = true;
SET hive.merge.size.per.task = 512000000;
SET hive.merge.smallfiles.avgsize = 256000000;
SET hive.exec.compress.output = true;
set hive.auto.convert.join=true;
set hive.map.aggr=true
set hive.groupby.skewindata=true
SET parquet.compression = snappy;
SET hive.exec.dynamic.partition.mode = nonstrict;
SET hive.exec.dynamic.partition = true;
msck repair table ods_adv.ods_online_h5_basic_1;
insert overwrite table `ods_adv.ods_online_h5_basic_1_tmp` partition (dt)
select * from ods_adv.ods_online_h5_basic_1
WHERE dt between '2019-07-01' and '2019-07-31';
## where dt=to_date('${hivevar:data_date}')

4、 Rename外部表（原ODS表） （location的不会变得）

alter table ods_adv.ods_advt_natural_flow_basic_1_tmp2 rename to ods_adv.ods_advt_natural_flow_basic_1_tmp ;

5、 Rename 步骤二创建的表

6、 删除原ODS数据只保留至前7天

hdfs dfs -rm -r /apps/hive/ods_log_tmp/ods_adv/ods_sdk_fre_4/dt=2018-12-29

OOZIE：
<action name="fs-debd">
  <fs>
    <delete path='${nameNode}${delete_ods_data_path}/dt=${data_date_of_lastweek}'/>
  </fs>
  <ok to="End"/>
  <error to="Kill"/>
</action>

7、 Msck 第六步的表

msck repair table ods_adv.ods_online_h5_basic_1;

8、 oozie调度开发（以mopub为例）
job.properties:

oozie.use.system.libpath=True                                                                                                                               
security_enabled=False                                                                                                                                      
dryrun=False                                                                                                                                                
workspace_52eceecc-0760-0201-c64a-0d1cd3a3b097=/user/hue/oozie/workspaces/advertisement/common/wf_kylin_build_time_cube                                     
send_email=False                                                                                                                                            
jobTracker=rm1                                                                                                                                              
kylin_url=http://zzdz0420180014.hk.batmobi.cn:7070
nameNode=hdfs://ns                                                                                                                                          
hive2_url=zzdz0420180015.hk.batmobi.cn:10000
wf_shell_path=/user/hue/oozie/workspaces/resources/common/script

data_date=2019-10-21                                                                                                                                       
data_date_of_lastweek=2019-10-14
wf_data_path=/apps/hive/warehouse/ods_adv.db/ods_online_h5_m_1
oozie.wf.application.path=hdfs://ns/user/hue/oozie/workspaces/advertisement/online_mopub/workflows/wf_ods_online_mopub_user_event_info                      
oozie.libpath=hdfs://ns/user/hue/oozie/workspaces/advertisement/online_mopub/workflows/wf_ods_online_mopub_user_event_info/lib                              
wf_sql_path=/user/hue/oozie/workspaces/resources/advertisement/hiveserver2/online_mopub                                                                          
delete_ods_data_path=/apps/hive/ods_log_tmp/ods_adv/ods_online_h5_m_1

workflow.xml:

<workflow-app name="wf_ods_online_mopub_user_event_info" xmlns="uri:oozie:workflow:0.5">
    <start to="hive2-af51"/>
    <kill name="Kill">
        <message>Action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    <action name="hive2-af51" cred="hive2">
        <hive2 xmlns="uri:oozie:hive2-action:0.1">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <prepare>
                  <delete path="${nameNode}${wf_data_path}/dt={data_date}/_SUCCESS"/>
            </prepare>
            <jdbc-url>jdbc:hive2://${hive2_url}/default</jdbc-url>
            <script>${wf_sql_path}/hql_ods_online_h5_mopub_user_event_info.hql</script>
              <param>data_date=${data_date}</param>
            <file>/user/hue/oozie/workspaces/resources/advertisement/hiveserver2/online_mopub/hql_ods_online_h5_mopub_user_event_info.hql#hql_ods_online_h5_mopub_user_event_info.hql</file>
        </hive2>
        <ok to="decision-2ffc"/>
        <error to="Email"/>
    </action>
    <action name="fs-c42f">
        <fs>
              <touchz path='${nameNode}${wf_data_path}/dt=${data_date}/_SUCCESS'/>
        </fs>
        <ok to="fs-debd"/>
        <error to="Email"/>
    </action>
    <decision name="decision-2ffc">
        <switch>
            <case to="fs-c42f">
            ${fs:exists(concat(concat(wf_data_path,&#39;/dt=&#39;),data_date))}</case>
            <default to="End"/>
        </switch>
    </decision>
    <action name="fs-debd">
        <fs>
              <delete path='${nameNode}${delete_ods_data_path}/dt=${data_date_of_lastweek}'/>
        </fs>
        <ok to="End"/>
        <error to="Email"/>
    </action>
    <action name="Email">
        <email xmlns="uri:oozie:email-action:0.2">
            <to>zouyi@batmobi.net,lijialun@batmobi.net,moxuqiang@batmobi.net,chenhongwei@batmobi.net,chenhongwei8888@gmail.com</to>
            <subject>wf_ods_online_mopub_user_event_info report</subject>
            <body>wf_ods_online_mopub_user_event_info error</body>
            <content_type>text/html; charset=UTF-8</content_type>
        </email>
        <ok to="End"/>
        <error to="Kill"/>
    </action>
    <end name="End"/>
</workflow-app>

job.properties:

oozie.use.system.libpath=True
security_enabled=False
dryrun=False
coord_kylin_url=http://zzdz0420180014.hk.batmobi.cn:7070
end_date=2050-04-21T00:20+0800
jobTracker=rm1
workspace_52eceecc-0760-0201-c64a-0d1cd3a3b097=/user/hue/oozie/workspaces/advertisement/common/wf_kylin_build_time_cube
hive2_url=zzdz0420180015.hk.batmobi.cn:10000
nameNode=hdfs://ns
coord_wf_shell_path=/user/hue/oozie/workspaces/resources/common/script

coord_data_path=/apps/hive/warehouse/ods_adv.db/ods_online_h5_m_1
oozie.coord.application.path=/user/hue/oozie/workspaces/advertisement/online_mopub/coordinators/coord_wf_ods_online_mopub_user_event_info
coord_wf_sql_path=/user/hue/oozie/workspaces/resources/advertisement/hiveserver2/online_mopub
coord_data_path_decision=/apps/hive/warehouse/ods_adv.db/ods_online_h5_m_1
coord_project_name=advt_online_mopub
coord_oozie_wf_applilcation_path=hdfs://ns/user/hue/oozie/workspaces/advertisement/online_mopub/workflows/wf_ods_online_mopub_user_event_info
coord_cube_name=cube_advt_online_mopub_adt_online_mopub_user_event_info_1_h
wf_application_path=hdfs://ns/user/hue/oozie/workspaces/advertisement/online_mopub/workflows/wf_ods_online_mopub_user_event_info
start_date=2019-10-21T14:00+0800 
coord_delete_ods_data_path=/apps/hive/ods_log_tmp/ods_adv/ods_online_h5_m_1

coordinator.xml:

<coordinator-app name="coord_ods_online_mopub_user_event_info"
  frequency="15 * * * *"
  start="${start_date}" end="${end_date}" timezone="Asia/Shanghai"
  xmlns="uri:oozie:coordinator:0.2"
  >
  <controls>
    <timeout>-1</timeout>
    <execution>FIFO</execution>
  </controls>
  <datasets>
    <dataset name="wf_data_path_decision" frequency="${coord:minutes(5)}"
             initial-instance="${start_date}" timezone="Asia/Shanghai">
      <uri-template>${nameNode}/apps/hive/warehouse/ods_adv.db/ods_online_h5_m_1/dt=${YEAR}-${MONTH}-${DAY}</uri-template>
      <done-flag> </done-flag>
    </dataset>
  </datasets>
  <input-events>
    <data-in name="wf_data_path_decision" dataset="wf_data_path_decision">
    <instance>${coord:current(-119)}</instance>
    </data-in>
  </input-events>
  <action>
    <workflow>
      <app-path>${wf_application_path}</app-path>
      <configuration>
	<property>
            <name>wf_data_path_decision</name>
            <value>${coord:dataIn('wf_data_path_decision')}</value>
          </property>
        <property>
            <name>project_name</name>
            <value>${coord_project_name}</value>
        </property>
        <property>
            <name>data_time</name>
            <value>${coord:formatTime(coord:dateOffset(coord:nominalTime(), -1, &#39;HOUR&#39;), &#39;yyyy-MM-dd HH:mm:ss&#39;)}</value>
        </property>
        <property>
            <name>data_hour</name>
            <value>${coord:formatTime(coord:dateOffset(coord:nominalTime(), -1, &#39;HOUR&#39;), &#39;HH&#39;)}</value>
        </property>
        <property>
            <name>wf_data_path</name>
            <value>${coord_data_path}</value>
        </property>
       <property>
            <name>delete_ods_data_path</name>
            <value>${coord_delete_ods_data_path}</value>
        </property>
       <property>
            <name>data_date_of_lastweek</name>
            <value>${coord:formatTime(coord:dateOffset(coord:nominalTime(), -8, &#39;DAY&#39;), &#39;yyyy-MM-dd&#39;)}</value>
        </property>
        <property>
            <name>oozie.libpath</name>
            <value>true</value>
        </property>
        <property>
            <name>oozie.wf.application.path</name>
            <value> ${coord_oozie_wf_applilcation_path}</value>
        </property>
        <property>
            <name>cube_name</name>
            <value>${coord_cube_name}</value>
        </property>
        <property>
            <name>wf_sql_path</name>
            <value>${coord_wf_sql_path}</value>
        </property>
        <property>
            <name>kylin_url</name>
            <value>${coord_kylin_url}</value>
        </property>
        <property>
            <name>hive2_url</name>
            <value>${hive2_url}</value>
        </property>
        <property>
            <name>data_date</name>
            <value>${coord:formatTime(coord:dateOffset(coord:nominalTime(), -1, &#39;HOUR&#39;), &#39;yyyy-MM-dd&#39;)}</value>
        </property>
	<property>
            <name>data_before</name>
            <value>${coord:formatTime(coord:dateOffset(coord:nominalTime(), -2, &#39;DAY&#39;), &#39;yyyy-MM-dd&#39;)}</value>
        </property>
        <property>
            <name>oozie.use.system.libpath</name>
            <value>True</value>
        </property>
        <property>
            <name>start_date</name>
            <value>${start_date}</value>
        </property>
        <property>
            <name>end_date</name>
            <value>${end_date}</value>
        </property>
        <property>
            <name>coord_oozie_wf_applilcation_path</name>
            <value>hdfs://ns/user/hue/oozie/workspaces/advertisement/online_mopub/workflows/wf_ods_online_mopub_user_event_info</value>
        </property>

        <property>
            <name>oozie.coord.application.path</name>
            <value>/user/hue/oozie/workspaces/advertisement/online_mopub/coordinators/coord_wf_ods_online_mopub_user_event_info</value>
        </property>

        <property>
            <name>wf_shell_path</name>
            <value>${coord_wf_shell_path}</value>
        </property>
      </configuration>
   </workflow>
  </action>
</coordinator-app>

在bdt的coordinator.xml:
在这里插入图片描述

红框一：
<datasets>
    <dataset name="wf_data_path_decision" frequency="${coord:minutes(5)}"
             initial-instance="${start_date}" timezone="Asia/Shanghai">
      <uri-template>${nameNode}${coord_data_path_decision}/dt=${YEAR}-${MONTH}-${DAY}</uri-template>
      <done-flag>_SUCCESS</done-flag>
    </dataset>
  </datasets>
  <input-events>
    <data-in name="wf_data_path_decision" dataset="wf_data_path_decision">
    <instance>${coord:current(-119)}</instance>
    </data-in>
  </input-events>



红框二：
<property>
            <name>wf_data_path_decision</name>
            <value>${coord:dataIn('wf_data_path_decision')}</value>
</property>

Oozie 两个数据原表（ods_1、ods_2）的：
job.Properties：

oozie.use.system.libpath=True                                                                                                                               
security_enabled=False                                                                                                                                      
dryrun=False                                                                                                                                                
workspace_52eceecc-0760-0201-c64a-0d1cd3a3b097=/user/hue/oozie/workspaces/advertisement/common/wf_kylin_build_time_cube                                     
send_email=False                                                                                                                                            
jobTracker=rm1                                                                                                                                              
kylin_url=http://zzdz0420180014.hk.batmobi.cn:7070
nameNode=hdfs://ns                                                                                                                                          
hive2_url=zzdz0420180015.hk.batmobi.cn:10000
wf_shell_path=/user/hue/oozie/workspaces/resources/common/script

oozie.wf.validate.ForkJoin = false
data_date=2019-10-23                                                                                                                                       
data_date_of_lastweek=2018-01-01
wf_data_path=/apps/hive/warehouse/ods_adv.db/ods_advt_user_operation_basic_tmp
oozie.wf.application.path=hdfs://ns/user/hue/oozie/workspaces/advertisement/advt/workflows/wf_ods_advt_user_operation_basic                      
oozie.libpath=hdfs://ns/user/hue/oozie/workspaces/advertisement/advt/workflows/wf_ods_advt_user_operation_basic/lib                              
wf_sql_path=/user/hue/oozie/workspaces/resources/advertisement/hiveserver2/advt                                                                          
delete_ods_data_path_1=/apps/hive/ods_log_tmp/ods_adv/ods_advt_user_operation_basic_1
delete_ods_data_path_2=/apps/hive/ods_log_tmp/ods_adv/ods_advt_user_operation_basic_2

workflow.xml：

<workflow-app name="wf_ods_advt_user_operation_basic" xmlns="uri:oozie:workflow:0.5">
    <start to="hive2-af51"/>
    <kill name="Kill">
        <message>Action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    <action name="hive2-af51" cred="hive2">
        <hive2 xmlns="uri:oozie:hive2-action:0.1">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <prepare>
                  <delete path="${nameNode}${wf_data_path}/dt={data_date}/_SUCCESS"/>
            </prepare>
            <jdbc-url>jdbc:hive2://${hive2_url}/default</jdbc-url>
            <script>${wf_sql_path}/hql_ods_advt_user_operation_basic.hql</script>
              <param>data_date=${data_date}</param>
            <file>/user/hue/oozie/workspaces/resources/advertisement/hiveserver2/advt/hql_ods_advt_user_operation_basic.hql#hql_ods_advt_user_operation_basic.hql</file>
        </hive2>
        <ok to="decision-2ffc"/>
        <error to="Email"/>
    </action>
    <action name="fs-c42f">
        <fs>
              <touchz path='${nameNode}${wf_data_path}/dt=${data_date}/_SUCCESS'/>
        </fs>
        <ok to="fork-0b64"/>
        <error to="Email"/>
    </action>
    <decision name="decision-2ffc">
        <switch>
            <case to="fs-c42f">
            ${fs:exists(concat(concat(wf_data_path,&#39;/dt=&#39;),data_date))}</case>
            <default to="fork-0b64"/>
        </switch>
    </decision>
    <action name="fs-debd">
        <fs>
              <delete path='${nameNode}${delete_ods_data_path_1}/dt=${data_date_of_lastweek}'/>
        </fs>
        <ok to="join-78d1"/>
        <error to="Email"/>
    </action>
	<action name="fs-ddec">
        <fs>
              <delete path='${nameNode}${delete_ods_data_path_2}/dt=${data_date_of_lastweek}'/>
        </fs>
        <ok to="join-78d1"/>
        <error to="Email"/>
    </action>
    <action name="Email">
        <email xmlns="uri:oozie:email-action:0.2">
            <to>zouyi@batmobi.net,lijialun@batmobi.net,moxuqiang@batmobi.net,chenhongwei@batmobi.net,chenhongwei8888@gmail.com</to>
            <subject>wf_ods_advt_user_operation_basic report</subject>
            <body>wf_ods_advt_user_operation_basic error</body>
            <content_type>text/html; charset=UTF-8</content_type>
        </email>
        <ok to="join-78d1"/>
        <error to="Kill"/>
    </action>
    <fork name="fork-0b64">
        <path start="fs-debd" />
        <path start="fs-ddec" />
    </fork>
    <join name="join-78d1" to="End"/>
    <end name="End"/>
</workflow-app>

job.properties:

oozie.use.system.libpath=True
security_enabled=False
dryrun=False
coord_kylin_url=http://zzdz0420180014.hk.batmobi.cn:7070
end_date=2050-04-21T00:20+0800
jobTracker=rm1
workspace_52eceecc-0760-0201-c64a-0d1cd3a3b097=/user/hue/oozie/workspaces/advertisement/common/wf_kylin_build_time_cube
hive2_url=zzdz0420180015.hk.batmobi.cn:10000
nameNode=hdfs://ns
coord_wf_shell_path=/user/hue/oozie/workspaces/resources/common/script

oozie.wf.validate.ForkJoin=false
coord_data_path=/apps/hive/warehouse/ods_adv.db/ods_advt_user_operation_basic_tmp
oozie.coord.application.path=/user/hue/oozie/workspaces/advertisement/advt/coordinators/coord_wf_ods_advt_user_operation_basic
coord_wf_sql_path=/user/hue/oozie/workspaces/resources/advertisement/hiveserver2/advt
coord_data_path_decision_1=/apps/hive/ods_log_tmp/ods_adv/ods_advt_user_operation_basic_1
coord_data_path_decision_2=/apps/hive/ods_log_tmp/ods_adv/ods_advt_user_operation_basic_2
coord_project_name=advt_advt
coord_oozie_wf_applilcation_path=hdfs://ns/user/hue/oozie/workspaces/advertisement/advt/workflows/wf_ods_advt_user_operation_basic
coord_cube_name=cube_advt_advt_adt_advt_user_event_info_1_h
wf_application_path=hdfs://ns/user/hue/oozie/workspaces/advertisement/advt/workflows/wf_ods_advt_user_operation_basic
start_date=2019-10-23T00:00+0800 
coord_delete_ods_data_path_1=/apps/hive/ods_log_tmp/ods_adv/ods_advt_user_operation_basic_1
coord_delete_ods_data_path_2=/apps/hive/ods_log_tmp/ods_adv/ods_advt_user_operation_basic_2

coordinator.xml:

<coordinator-app name="coord_wf_ods_advt_user_operation_basic"
  frequency="15 0 * * *"
  start="${start_date}" end="${end_date}" timezone="Asia/Shanghai"
  xmlns="uri:oozie:coordinator:0.2"
  >
  <controls>
    <timeout>-1</timeout>
    <execution>FIFO</execution>
  </controls>
  <datasets>
    <dataset name="wf_data_path_decision_1" frequency="${coord:minutes(5)}"
             initial-instance="${start_date}" timezone="Asia/Shanghai">
      <uri-template>${nameNode}/apps/hive/ods_log_tmp/ods_adv/ods_advt_user_operation_basic_1/dt=${YEAR}-${MONTH}-${DAY}</uri-template>
      <done-flag> </done-flag>
    </dataset>
    <dataset name="wf_data_path_decision_2" frequency="${coord:minutes(5)}"
             initial-instance="${start_date}" timezone="Asia/Shanghai">
      <uri-template>${nameNode}/apps/hive/ods_log_tmp/ods_adv/ods_advt_user_operation_basic_2/dt=${YEAR}-${MONTH}-${DAY}</uri-template>
      <done-flag> </done-flag>
    </dataset>
  </datasets>
  <input-events>
    <data-in name="wf_data_path_decision_1" dataset="wf_data_path_decision_1">
    <instance>${coord:current(-119)}</instance>
    </data-in>
    <data-in name="wf_data_path_decision_2" dataset="wf_data_path_decision_2">
    <instance>${coord:current(-119)}</instance>
    </data-in>
  </input-events>
  <action>
    <workflow>
      <app-path>${wf_application_path}</app-path>
      <configuration>
        <property>
            <name>wf_data_path_decision_1</name>
            <value>${coord:dataIn('wf_data_path_decision_1')}</value>
        </property>
        <property>
            <name>wf_data_path_decision_2</name>
            <value>${coord:dataIn('wf_data_path_decision_2')}</value>
        </property>
        <property>
            <name>project_name</name>
            <value>${coord_project_name}</value>
        </property>
        <property>
            <name>data_time</name>
            <value>${coord:formatTime(coord:dateOffset(coord:nominalTime(), -1, &#39;HOUR&#39;), &#39;yyyy-MM-dd HH:mm:ss&#39;)}</value>
        </property>
        <property>
            <name>data_hour</name>
            <value>${coord:formatTime(coord:dateOffset(coord:nominalTime(), -1, &#39;HOUR&#39;), &#39;HH&#39;)}</value>
        </property>
        <property>
            <name>wf_data_path</name>
            <value>${coord_data_path}</value>
        </property>
       <property>
            <name>delete_ods_data_path_1</name>
            <value>${coord_delete_ods_data_path_1}</value>
        </property>
        <property>
            <name>delete_ods_data_path_2</name>
            <value>${coord_delete_ods_data_path_2}</value>
        </property>
       <property>
            <name>data_date_of_lastweek</name>
            <value>${coord:formatTime(coord:dateOffset(coord:nominalTime(), -8, &#39;DAY&#39;), &#39;yyyy-MM-dd&#39;)}</value>
        </property>
        <property>
            <name>oozie.libpath</name>
            <value>true</value>
        </property>
        <property>
            <name>oozie.wf.application.path</name>
            <value> ${coord_oozie_wf_applilcation_path}</value>
        </property>
        <property>
            <name>cube_name</name>
            <value>${coord_cube_name}</value>
        </property>
        <property>
            <name>wf_sql_path</name>
            <value>${coord_wf_sql_path}</value>
        </property>
        <property>
            <name>kylin_url</name>
            <value>${coord_kylin_url}</value>
        </property>
        <property>
            <name>hive2_url</name>
            <value>${hive2_url}</value>
        </property>
        <property>
            <name>data_date</name>
            <value>${coord:formatTime(coord:dateOffset(coord:nominalTime(), -1, &#39;HOUR&#39;), &#39;yyyy-MM-dd&#39;)}</value>
        </property>
        <property>
            <name>data_before</name>
            <value>${coord:formatTime(coord:dateOffset(coord:nominalTime(), -2, &#39;DAY&#39;), &#39;yyyy-MM-dd&#39;)}</value>
        </property>
        <property>
            <name>oozie.use.system.libpath</name>
            <value>True</value>
        </property>
        <property>
            <name>start_date</name>
            <value>${start_date}</value>
        </property>
        <property>
            <name>end_date</name>
            <value>${end_date}</value>
        </property>
        <property>
            <name>coord_oozie_wf_applilcation_path</name>
            <value>hdfs://ns/user/hue/oozie/workspaces/advertisement/advt/workflows/wf_ods_advt_user_operation_basic</value>
        </property>
        <property>
            <name>oozie.coord.application.path</name>
            <value>/user/hue/oozie/workspaces/advertisement/advt/coordinators/coord_wf_ods_advt_user_operation_basic</value>
        </property>
        <property>
            <name>wf_shell_path</name>
            <value>${coord_wf_shell_path}</value>
        </property>
      </configuration>
   </workflow>
  </action>
</coordinator-app>
xiaowei0548
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive 压缩全解读(hive表存储格式以及外部表直接加载压缩格式数据)；HADOOP存储数据压缩方案对比（LZO,gz，ORC）
longshenlmj的专栏
01-20 2万+
数据做压缩和解压缩总会增加CPU的开销，但可以最大程度的减少文件所需的磁盘空间和网络I/O的开销 最好对那些I/O密集型的作业使用数据压缩 hive表的存储格式为     TEXTFILE     SEQUENCEFILE（三种压缩选择：NONE, RECORD, BLOCK。 Record压缩率低，一般建议使用BLOCK压缩）     RCFILE     自定义格式
Hive数据迁移4（内外部表）
wangkuangood3200的专栏
09-12 227
#date:2019-05-13 #author:Wang Kuan dbname=$1 #categorize the table type cat /home/tablename | while read table; do hive -e "use ${dbname};desc $table;" 2>&1 |grep 'Table not found' i...
HIVE实战处理（六）hive的压缩格式以及压缩文件导入hive实战
sheep8521的博客
05-06 4069
一、存储 行存储的特点： 查询满足条件的一整行数据的时候，列存储则需要去每个聚集的字段找到对应的每个列的值，行存储只需要找到其中一个值，其余的值都在相邻地方，所以此时行存储查询的速度更快。 列存储的特点： 因为每个字段的数据聚集存储，在查询只需要少数几个字段的时候，能大大减少读取的数据量；每个字段的数据类型一定是相同的，列式存储可以针对性的设计更好的设计压缩算法。 Hive中常用的存储格式： 1....
内外部表操作,hive数据导出和导入的操作梳理
MSJ3917的博客
11-11 112
-bin/hive -f export.sql > /home/hadoop/export4/export4.txt --脚本输出。--从hdfs一个表导入到另一个表,原数据会消失,同时覆盖新表中数据。
hive数据迁移
qq_33661213的博客
09-14 3477
HIve 数据迁移 1.跨Hadoop平台之间的Hive表迁移操作 1.1 分析 实现两个hadoop平台之间的数据迁移，需要将原平台的Hive表元数据文件使用export导出到HDFS文件系统。通过Distcp命令将导出的元数据文件迁移到新集群的HDFS文件中，最后在新集群中通过import命令导入表。 1.2 要求 条件 要求 Hadoop Hive Zookeeper ...
技术实践｜Hive数据迁移干货分享
zhongdianjinxin的博客
08-28 1065
Hive的数据迁移其实有多种方式，根据需求不同采用的迁移方式也不尽相同，每种迁移的优势也是不同的，其中数据量是影响迁移的重要因素之一。在数据量不大的情况下，Hive迁移一般常用的方式是使用Export、Import进行数据和元数据的导出导入，Export会将数据和元数据写到一起，并且元数据在恢复时是直接关联数据的，不需要再做其他的操作。同时还直接关联分区，不需要再使用MSCK进行分区修复。
hive外部表改为内部表_HIVE的内部表和外部表
weixin_39712724的博客
02-06 769
Hive的数据表 创建数据文件 inner_table.dat创建表 hive>create table inner_table (key string);加载数据 hive>load data local inpath ‘/root/inner_table.dat’ into table inner_table;查看数据 hive> select * from inner_ta...
Hive内部表和外部表
01-07
删除表时(drop table)内部表会删除hdfs对应路径，而外部表不会删除hdfs对应的路径, 删除表无论是内部表和外部表都会删除元数据(metastore.TBLS、metastore.COLUMNS_V2) 二：location关键字 用于指定hdfs路径，如果不...
Hive管理表和外部表的区别
01-07
关于Hive数据仓库的管理表（MANAGED_TABLE）和外部表（EXTERNAL_TABLE）的区别，在创表的时候，如果不指定，则默认创建管理表。如果不知道此表是什么类型的表的话，可以在hive的命令行里打desc formatted table_name...
Hive小表的测试数据
07-31
在大数据处理领域，Hive是一个基于Hadoop的数据仓库工具，它可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，使得大数据分析变得更加便捷。在这个场景中，"Hive小表的测试数据"指的是用于测试Hive...
Hive大表的测试数据
07-31
通过Hive，可以方便地对海量数据进行清洗、转换，并加载到其他系统，如数据仓库或数据分析平台。 9. **Hive与Spark集成**：现代的大数据环境往往采用Spark进行实时或近实时处理。Hive可以与Spark集成，利用Spark的...
Hive DDL 之 表
01-07
创建表 语法： CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], …)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], …)...
Hive中的数据迁移--迁移多库数据以及实际遇到的问题解决
Yore - Home
09-04 1万+
Hive的数据迁移其实就是对Hive的数据进行导入导出的操作。如果数据表不是很多，我们可以直接使用Hive SQL来处理，一张一张表的导出，然后在进行导入。   对Hive的数据进行操作，常用的是登陆Hive客户端命令，常用的方式一般有两种，①hive，直接进入；②通过Beeline，在shell中输入beeline，然后连接我们的Hive，输入beeline&gt; !connection ...
通过Hive外部表迁移Kudu数据表
Meyao's Blog
02-27 5239
通过Hive外部表迁移Kudu数据表 由于数据量越来越大，服务器难以支撑所以迁移到云上，记录下迁移kudu表的过程 1、导出数据为csv文件： `impala-shell -q "select * from vs_kudu_xxx_days" -B --output_delimiter="," -o /opt/vs_kudu_xxx_days_0131.csv 2、scp csv文件到云服务器...
Hive往表写入数据的八种方法
热门推荐
zjjcchina的博客
02-09 1万+
1.使用insert......select......\ 语法： insert overwrite table dest_table partition(dt='xxxxxx')selectc1,c2from src_tablewhere...... 复制代码 select中的字段顺序与dest_table的一定要一致，字段名与dest_table的最好要一致。 映射时是以字段顺序为准，不以字段名或字段别名为准。 insert overwrite是覆盖目的路径下已存在的数据文件。 inse.
Hive常用输入和压缩建表语句
L, there!
09-05 2723
Text普通文本 create table `cp_api_log`(`line` string) partitioned by (`date` string) row format delimited fields terminated by '\t' lines terminated by '\n' stored as textfile -- 或 stored as 直接指定输入输出格...
Hive表的数据压缩和企业级调优
a1007904449的博客
08-12 920
压缩模式评价常见压缩格式http://google.github.io/snappy/On a single core of a Core i7 processor in 64-bit mode, Snappy compresses at about 250 MB/sec or more and decompresses at about 500 MB/sec or more.案例实操： 1.4 开启Reduce输出阶段压缩 当Hive将输出写入到表中时，输出内容同样可以进行压缩。属性hive.exec.
Hive内容分享(十一)：Hive数据迁移
之乎者也·的博客
01-04 1415
在数据量不大的情况下，Hive迁移一般常用的方式是使用Export、Import进行数据和元数据的导出导入，Export会将数据和元数据写到一起，并且元数据在恢复时是直接关联数据的，不需要再做其他的操作。一般在企业进行数据库改造、历史数据库区域创建、业务条线改造等，或是数据库出现瓶颈的情况下，会进行部分数据迁移，那么此时Hive迁移建议使用表和数据分步迁移的方式进行迁移。Hive的数据迁移其实有多种方式，根据需求不同采用的迁移方式也不尽相同，每种迁移的优势也是不同的，其中数据量是影响迁移的重要因素之一。
1111111111111111111111
最新发布
08-13
1111111111111111
Spark通过BulkLoad高效将Hive表迁移到HBase
在大数据处理场景中，将Hive表迁移到HBase是一个常见的需求，特别是在使用Apache Spark进行高性能数据操作时。本文主要关注如何通过Spark的BulkLoad功能实现Hive表到HBase的高效批量导入。Spark版本为1.6.0-cdh5.7.0...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值