助力工业物联网，工业大数据项目之数据采集【四】_docker exec -it sqoop bash

最新推荐文章于 2024-05-21 11:40:29 发布
最新推荐文章于 2024-05-21 11:40:29 发布
阅读量732 收藏 23
点赞数 8
分类专栏： 2024年程序员学习 文章标签： 大数据 docker sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84185074/article/details/137897848
版权

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img
img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）
img

正文

	```
	yarn.scheduler.minimum-allocation-vcores=1
	yarn.scheduler.maximum-allocation-vcores=32
	yarn.scheduler.minimum-allocation-mb=1024
	yarn.scheduler.maximum-allocation-mb=8192
	
	```
	- MR Task资源
	
	 
	```
	mapreduce.map.cpu.vcores=1
	mapreduce.map.memory.mb=1024
	mapreduce.reduce.cpu.vcores=1
	mapreduce.reduce.memory.mb=1024
	
	```
	- Spark Executor资源
	
	 
	```
	--driver-memory  #分配给Driver的内存，默认分配1GB
	--driver-cores   #分配给Driver运行的CPU核数，默认分配1核
	--executor-memory #分配给每个Executor的内存数，默认为1G，所有集群模式都通用的选项
	--executor-cores  #分配给每个Executor的核心数，YARN集合和Standalone集群通用的选项
	--total-executor-cores NUM  #Standalone模式下用于指定所有Executor所用的总CPU核数
	--num-executors NUM #YARN模式下用于指定Executor的个数，默认启动2个
	
	```
+ **实现：修改问题1中的配置属性**


	- 注意：修改完成，要重启YARN
	
	 ![image-20210928200550336](https://img-blog.csdnimg.cn/img_convert/51dc0634ba3ee057bec1b7e26a7e9205.png)[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jgRIa2kT-1673426702988)(Day2\_数仓设计及数据采集.assets/image-20210822085238536.png)]

​

  • 小结

    • 实现YARN的资源调度配置

03：MR的Uber模式

  • 目标：了解MR的Uber模式的配置及应用

  • 实施

    • Spark为什么要比MR要快

      • MR慢

    • 只有Map和Reduce阶段，每个阶段的结果都必须写入磁盘

      • 如果要实现Map1 -> Map2 -> Reduce1 -> Reduce2
      • Mapreduce1：Map1
      • MapReduce2：Map2 -> Reduce1
      • Mapreduce3：Reduce2

    • MapReduce程序处理是进程级别：MapTask进程、ReduceTask进程

    • 问题：MR程序运行在YARN上时，有一些轻量级的作业要频繁的申请资源再运行，性能比较差怎么办？

      • Uber模式

    • 功能：Uber模式下，程序只申请一个AM Container：所有Map Task和Reduce Task，均在这个Container中顺序执行

    image-20210822091155998

      - 默认不开启
    • 配置：${HADOOP_HOME}/etc/hadoop/mapred-site.xml
    mapreduce.job.ubertask.enable=true
#必须满足以下条件
mapreduce.job.ubertask.maxmaps=9
mapreduce.job.ubertask.maxreduces=1
mapreduce.job.ubertask.maxbytes=128M
yarn.app.mapreduce.am.resource.cpu-vcores=1
yarn.app.mapreduce.am.resource.mb=1536M

    • 特点

      • Uber模式的进程为AM，所有资源的使用必须小于AM进程的资源
      • Uber模式条件不满足，不执行Uber模式
      • Uber模式，会禁用推测执行机制

  • 小结

    • 了解MR的Uber模式的配置及应用

04：Sqoop采集数据格式问题

  • 目标：掌握Sqoop采集数据时的问题

  • 路径

    • step1：现象
    • step2：问题
    • step3：原因
    • step4：解决

  • 实施

    • 现象

      • step1：查看Oracle中CISS_SERVICE_WORKORDER表的数据条数
      select count(1) as cnt from CISS_SERVICE_WORKORDER;
      • step2：采集CISS_SERVICE_WORKORDER的数据到HDFS上sqoop import
        –connect jdbc:oracle:thin:@oracle.bigdata.cn:1521:helowin
        –username ciss
        –password 123456
        –table CISS4.CISS_SERVICE_WORKORDER
        –delete-target-dir
        –target-dir /test/full_imp/ciss4.ciss_service_workorder
        –fields-terminated-by “\001”
        -m 1
    
- step3：Hive中建表查看数据条数

- 进入Hive容器

  ```
docker exec -it hive bash
  ```

- 连接HiveServer

  ```
  beeline -u jdbc:hive2://hive.bigdata.cn:10000 -n root -p 123456
  ```

- 创建测试表

  ```sql
  create external table test_text(
  line string
  )
  location '/test/full_imp/ciss4.ciss_service_workorder';
  ```

- 统计行数

  ```
  select count(*) from test_text;
  ```

    • 问题：Sqoop采集完成后导致HDFS数据与Oracle数据量不符

    • 原因

      • sqoop以文本格式导入数据时，默认的换行符是特殊字符
      • Oracle中的数据列中如果出现了\n、\r、\t等特殊字符，就会被划分为多行
      • Oracle数据
      id			name				age
001			zhang\nsan			18
      • Sqoop遇到特殊字段就作为一行
      001			zhang
san			18
      • Hive
      id			name				age
001			zhang 
san			18

    • 解决

      • 方案一：删除或者替换数据中的换行符
        • –hive-drop-import-delims：删除换行符
        • –hive-delims-replacement char：替换换行符
        • 不建议使用：侵入了原始数据
      • 方案二：使用特殊文件格式：AVRO格式

  • 小结

    • 掌握Sqoop采集数据时的问题

05：问题解决：Avro格式

  • 目标：掌握使用Avro格式解决采集换行问题

  • 路径

    • step1：常见格式介绍
    • step2：Avro格式特点
    • step3：Sqoop使用Avro格式
    • step4：使用测试

  • 实施

    • 常见格式介绍
    类型介绍
    TextFileHive默认的文件格式，最简单的数据格式，便于查看和编辑，耗费存储空间，I/O性能较低
    SequenceFile含有键值对的二进制文件，优化磁盘利用率和I/O，并行操作数据，查询效率高，但存储空间消耗最大
    AvroFile特殊的二进制文件，设计的主要目标是为了满足schema evolution，Schema和数据保存在一起
    OrcFile列式存储，Schema存储在footer中，不支持schema evolution，高度压缩比并包含索引，查询速度非常快
    ParquetFile列式存储，与Orc类似，压缩比不如Orc，但是查询性能接近，支持的工具更多，通用性更强
      - SparkCore缺点：RDD【数据】：没有Schema
  - SparkSQL优点：DataFrame【数据 + Schema】
  - Schema：列的信息【名称、类型】

    • Avro格式特点

      • 优点
        • 二进制数据存储，性能好、效率高
        • 使用JSON描述模式，支持场景更丰富
        • Schema和数据统一存储，消息自描述
        • 模式定义允许定义数据的排序
      • 缺点
        • 只支持Avro自己的序列化格式
        • 少量列的读取性能比较差，压缩比较低
      • 场景：基于行的大规模结构化数据写入、列的读取非常多或者Schema变更操作比较频繁的场景

    • Sqoop使用Avro格式

      • 选项
      --as-avrodatafile                                     Imports data to Avro datafiles
      • 注意：如果使用了MR的Uber模式，必须在程序中加上以下参数避免类冲突问题
      -Dmapreduce.job.user.classpath.first=true

    • 使用测试

    sqoop import \
-Dmapreduce.job.user.classpath.first=true \
--connect jdbc:oracle:thin:@oracle.bigdata.cn:1521:helowin \
--username ciss \
--password 123456 \
--table CISS4.CISS_SERVICE_WORKORDER \
--delete-target-dir \
--target-dir /test/full_imp/ciss4.ciss_service_workorder \
--as-avrodatafile \
--fields-terminated-by "\001" \
-m 1


      - Hive中建表
  
  
  	* 进入Hive容器
  	
  	 
  	```
  	docker exec -it hive bash
  	
  	```
  	* 连接HiveServer
  	
  	 
  	```
  	beeline -u jdbc:hive2://hive.bigdata.cn:10000 -n root -p 123456
  	
  	```
  	* 创建测试表
  	
  	 
  	```
  	create external table test_avro(
  	line string
  	)
  	stored as avro
  	location '/test/full\_imp/ciss4.ciss\_service\_workorder';
  	
  	```
  	* 统计行数
  	
  	 
  	```
  	select count(*) from test_avro;
  	
  	```

  • 小结

    • 掌握如何使用Avro格式解决采集换行问题

06：Sqoop增量采集方案回顾

  • 目标：回顾Sqoop增量采集方案

  • 路径

    • step1：Append
    • step2：Lastmodified
    • step3：特殊方式

  • 实施

    • Append

      • 要求：必须有一列自增的值，按照自增的int值进行判断
      • 特点：只能导入增加的数据，无法导入更新的数据
      • 场景：数据只会发生新增，不会发生更新的场景
      • 代码
      sqoop import \
--connect jdbc:mysql://node3:3306/sqoopTest \
--username root \
--password 123456 \
--table tb_tohdfs \
--target-dir /sqoop/import/test02 \
--fields-terminated-by '\t' \
--check-column id \
--incremental append \
--last-value 0 \

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
img

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

et-dir /sqoop/import/test02
–fields-terminated-by ‘\t’
–check-column id
–incremental append
–last-value 0 \

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
[外链图片转存中…(img-SikzG8PB-1713381875806)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2401_84185074
关注
  • 8
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
dockerexc:在所选容器上运行docker exec -it container_id binbash
05-11
docker exec -it container_id /bin/bash 您还可以添加项目并从任何地方启动它们，只需设置docker-compose.yml的名称和路径即可。 dockerexc --name="ProjectName" --path="/Users/user/project/docker-compose....
docker-sqoop:Apache Sqoop Docker映像
04-29
docker run -v /path/to/jdbc-jars:/jdbc -it dvoros/sqoop:latest MySQL导入示例 MYSQL_HOST= MYSQL_USER= MYSQL_PASS= MYSQL_DB= MYSQL_TABLE= sqoop import --connect jdbc:mysql://$MYSQL_HOST/$MYSQL_DB --...
助力工业物联网，工业大数据项目之数据采集【四】_docker exec -it sqoop bash(2)
2301_79772893的博客
05-04 853
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jgRIa2kT-1673426702988)(Day2_数仓设计及数据采集.assets/image-20210822085238536.png)]：Uber模式下，程序只申请一个AM Container：所有Map Task和Reduce Task，均在这个Container中顺序执行。：MR程序运行在YARN上时，有一些轻量级的作业要频繁的申请资源再运行，性能比较差怎么办？：了解MR的Uber模式的配置及应用。
助力工业物联网，工业大数据项目之数据采集【四】_docker exec -it sqoop bash(1)
2401_84181403的博客
04-28 837
测试采集Oracle数据。
助力工业物联网，工业大数据项目之数据采集【四】_docker exec -it sqoop bash(3)
2301_79772893的博客
05-04 821
​。
助力工业物联网，工业大数据项目之数据采集【四】
Maynor996的博客
01-12 752
Uber模式下，程序只申请一个AM Container：所有Map Task和Reduce Task，均在这个Container中顺序执行。：MR程序运行在YARN上时，有一些轻量级的作业要频繁的申请资源再运行，性能比较差怎么办？Oracle中的数据列中如果出现了\n、\r、\t等特殊字符，就会被划分为多行。特点：自己实现增量的数据过滤，可以实现新增和更新数据的采集。要求：必须有一列自增的值，按照自增的int值进行判断。特点：只能导入增加的数据，无法导入更新的数据。
助力工业物联网，工业大数据项目介绍及环境构建【一、二】
Maynor996的博客
11-28 3130
项目目标项目1：在线教育学习如何做项目，项目中大数据工程师要负责实现的内容和流程学习数仓基础理论：建模、分层项目2：工业大数据企业中项目开发的落地：代码开发代码开发：SQL【DSL + SQL】SparkCoreSparkSQL数仓的一些实际应用：分层体系、建模实现内容目标项目业务介绍：背景、需求项目技术架构：选型、架构项目环境测试目标了解Docker的基本功能和设计为什么要用Docker？什么是Docker？路径step1：生产环境的问题。
bash-it-docker:Bash-it作为Docker容器
05-19
bash-it-docker Bash shell中有5节，和基于作为非特权用户 Docker： 码头： 信息 将此存储库视为“进行中的工作”。 您可以在找到Documentation如何使用和设置Bash-it。 请在此存储库中仅打开与Docker相关的...
docker-exec-web-console：从浏览器到docker exec的Web UI
02-05
您可以通过以下方式启动容器： docker run \--name docker-exec-web-console \-p 9999:8888 \-v /var/run/docker.sock:/var/run/docker.sock \bitbull/docker-exec-web-console然后，您可以通过以下网址访问控制台...
大数据平台Docker应用之路
01-29
随着大数据平台型产品方向的深入应用实践和Docker开源社区的逐渐成熟，业界有不少的大数据研发团队开始拥抱Docker。简单来说，Docker会让Hadoop平台部署更加简单快捷、让研发和测试团队集成交付更加敏捷高效、让产线...
【仿RabbitMQ消息队列项目day2】使用muduo库中基于protobuf的应用层协议进行通信
最新发布
weixin_74113106的博客
05-21 743
使用muduo库中基于protobuf的应用层协议进行通信
西南交通大学计算机考研难吗？西南交通大学计算机考研考情分析！
m0_72717598的博客
05-16 263
西南交通大学信息科学与技术学院成立于1985年（原计算机科学与工程系），学院下设五个系，即计算机科学与技术系，软件工程系，自动化系，通信工程系，电子信息工程系，20多年来，学院已培养出研究生700余名，本科生近5000名，毕业生遍布全国各地，其中不少已成为国内外知名专家、学者。创新精神和能力、专业兴趣和素养等。复试要对考生的既往学业情况、外语听说交流能力、专业素质和科研创新能力，以及综合素质和一贯表现等进行全面考查，主要考核内容包括思想政治素质和道德品质、外语听说能力、专业素质和能力、综合素质及能力。
工作中的相关问题
m0_49099215的博客
05-21 178
工作总结
计算机SCI期刊，IF=8+，专业性强，潜力新刊！
mshsci的博客
05-21 210
《大数据杂志》发表了关于数据科学和数据分析的开放获取原创研究。深度学习算法和大数据的所有应用都受到欢迎。还考虑了调查文件和案例研究。
要对数据源和同步后的数据进行数据量的对比
smile6868的博客
05-16 336
4. **数据对比**：在 Flink 中创建两个表，一个连接到数据源，另一个连接到目标系统，然后使用 Flink SQL 来比较这两个表的数据。3. **数据同步**：使用 Flink SQL CDC Connectors 或其他合适的连接器来同步数据源的数据到目标系统。5. **执行 Flink SQL**：在 Flink SQL 客户端或 Flink Web UI 提交上述 SQL 脚本。2. **数据同步**：如果你使用的是 Flink CDC Connectors，它会自动处理数据的增量同步。
Hive的“分区”
早拾碗吧的博客
05-15 473
【代码】Hive的“分区”
大数据概述
JAZJD的博客
05-16 689
从最初的存储和处理海量数据，到后来的数据分析和可视化，再到如今的机器学习和人工智能驱动的大数据应用，大数据技术日新月异，不断突破创新。在信息科技方面，计算机硬件性能的提升、存储技术的进步、网络传输速度的加快等，为海量数据的产生、收集和处理提供了技术支撑。：大数据往往包含多种类型的数据，如结构化数据（数据库中的表格数据）、半结构化数据（XML、JSON等格式）、以及非结构化数据（文本、图像、视频等）。随着技术的进步和应用的深入，大数据必将释放出更大的价值，为社会带来更多的创新和变革。
【大数据】探索开源向量相似度搜索引擎 —— Milvus
Mia惠枫的博客
05-19 305
它的出现为大规模向量数据的存储、管理和搜索带来了全新的解决方案，为人工智能和机器学习领域的发展注入了新的活力。Milvus是一个开源的向量相似度搜索引擎，致力于帮助用户高效存储、管理和搜索大规模向量数据。随着人工智能和机器学习领域的不断发展，Milvus将在未来发挥更加重要的作用。：Milvus提供了快速的相似度搜索功能，帮助用户快速找到他们需要的向量数据。：Milvus提供了灵活的数据管理功能，用户可以轻松管理各种类型的向量数据。：Milvus可以用于文本相似度计算，帮助用户找到相似的文本内容。
docker exec -it mycontainer bash 和docker exec -it mycontainer /bin/bash的区别
05-18
- `docker exec -it mycontainer bash` 使用的是 `bash` shell，需要在容器中安装了 `bash`。 - `docker exec -it mycontainer /bin/bash` 使用的是 `/bin/bash` shell，不需要在容器中安装 `bash`。 一般来说，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值