大数据最新助力工业物联网，工业大数据之脚本开发【五】_物联网关脚本编程，看懂这份大数据开发面经大厂真不是问题

最新推荐文章于 2024-05-15 20:30:52 发布

荣光彼方

最新推荐文章于 2024-05-15 20:30:52 发布

阅读量933

点赞数 26

分类专栏：程序员文章标签：大数据

本文链接：https://blog.csdn.net/tencentes/article/details/138527558

版权

程序员专栏收录该内容

154 篇文章 0 订阅

订阅专栏

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

	```
	 
	```
	ciss4.ciss_base_areas
	ciss4.ciss_base_baseinfo
	ciss4.ciss_base_csp
	ciss4.ciss_base_customer
	ciss4.ciss_base_device
	
	```
	- 创建脚本
	
	 
	```
	vim test_full_import_table.sh
	
	```
	- 构建采集的Sqoop命令
	
	 
	```
	sqoop import \
	-Dmapreduce.job.user.classpath.first=true \
	--connect jdbc:oracle:thin:@oracle.bigdata.cn:1521:helowin \
	--username ciss \
	--password 123456 \
	--table CISS4.CISS_SERVICE_WORKORDER \
	--delete-target-dir \
	--target-dir /test/full_imp/ciss4.ciss_service_workorder \
	--as-avrodatafile \
	--fields-terminated-by "\001" \
	-m 1
	
	```
	- 封装脚本
	
	 
	```
	#!/bin/bash
	#export path
	source /etc/profile
	#export the tbname files
	TB\_NAME=/opt/datas/shell/test_full_table.txt
	#export the import opt
	IMP\_OPT="sqoop import -Dmapreduce.job.user.classpath.first=true"
	#export the jdbc opt
	JDBC\_OPT="--connect jdbc:oracle:thin:@oracle.bigdata.cn:1521:helowin --username ciss --password 123456"
	
	#read tbname and exec sqoop
	while read tbname
	do
	  ${IMP\_OPT} ${JDBC\_OPT} --table ${tbname^^} --delete-target-dir --target-dir /test/full_imp/${tbname^^} --as-avrodatafile --fields-terminated-by "\001" -m 1
	done < ${TB\_NAME}
	
	```

添加执行权限

chmod u+x test_full_import_table.sh

测试执行

sh -x test_full_import_table.sh

检查结果

小结
- 实现自动化脚本开发的设计思路分析

02：全量及增量采集脚本运行

目标：实现全量采集脚本的运行
实施
- 全量目标：将所有需要将实现全量采集的表进行全量采集存储到HDFS上
  - Oracle表：组织机构信息、地区信息、服务商信息、数据字典等
  - HDFS路径
```
/data/dw/ods/one_make/full_imp/表名/日期
```
- 增量目标：将所有需要将实现全量采集的表进行增量采集存储到HDFS上
  - 工单数据信息、呼叫中心信息、物料仓储信息、报销费用信息等
  - HDFS路径
```
/data/dw/ods/one_make/incr_imp/表名/日期
```
- 运行脚本
  - 全量采集
```
cd /opt/sqoop/one_make
sh -x full_import_tables.sh 
```
```
  * 脚本中特殊的一些参数
```
  - –outdir：Sqoop解析出来的MR的Java程序等输出文件输出的文件
  - 增量采集
```
cd /opt/sqoop/one_make
sh -x incr_import_tables.sh 
```
- 特殊问题
  - 因oracle表特殊字段类型，导致sqoop导数据任务失败
  - oracle字段类型为： clob或date等特殊类型
  - 解决方案：在sqoop命令中添加参数，指定特殊类型字段列(SERIAL_NUM)的数据类型为string
    - —map-column-java SERIAL_NUM=String
- 查看结果
  - /data/dw/ods/one_make/full_imp：44张表
  - /data/dw/ods/one_make/incr_imp：57张表
小结
- 实现全量采集脚本的运行

03：Schema备份及上传

目标：了解如何实现采集数据备份

实施

需求：将每张表的Schema进行上传到HDFS上，归档并且备份
Avro文件本地存储

workhome=/opt/sqoop/one_make
--outdir ${workhome}/java_code

  - **Avro文件HDFS存储**
  
   
  ```
  hdfs\_schema\_dir=/data/dw/ods/one_make/avsc
  hdfs dfs -put ${workhome}/java_code/*.avsc ${hdfs\_schema\_dir}
  
  ```
  - **Avro文件本地打包**
  
   
  ```
  local\_schema\_backup\_filename=schema_${biz\_date}.tar.gz
  tar -czf ${local\_schema\_backup\_filename} ./java_code/*.avsc
  
  ```
  - **Avro文件HDFS备份**
  
   
  ```
  hdfs\_schema\_backup\_filename=${hdfs\_schema\_dir}/avro_schema_${biz\_date}.tar.gz
  hdfs dfs -put ${local\_schema\_backup\_filename} ${hdfs\_schema\_backup\_filename}
  
  ```
  - 运行测试
  
   
  ```
  cd /opt/sqoop/one_make/
  ./upload_avro_schema.sh 
  
  ```
  - 验证结果
  
   
  ```
  /data/dw/ods/one_make/avsc/
  *.avsc
  schema_20210101.tar.gz
  
  ```