- 博客(30)
- 收藏
- 关注
RSS订阅原创 dolphin工作数据采集sql记录
如果是同一个数据源的，也就是同一个链接的数据库，比如说ODS层的数据采集到DWD层、DWS层、DIM层、ADS层的话，其内部插入，则用dolphin的sql组件来执行insert语句。insert语句不能跨链接执行。然后如果想跨链接执行的话则需要在datax中执行一个select语句，实现跨不同类型数据库或者跨链接执行采集。insert和select。
2024-05-22 11:35:04
592
原创 集团真实《离线数仓》项目回顾总结
其中每一个公司都有属于自己的业务系统，系统所产生的数据会存储到该公司的数据库中，而不同系统所用的数据库不同，也就是我们数仓的数据来源，其中包括：MySQL、SqlServer2000、SqlServer2014、Oracle、hive等这些数据库服务。其次，需要对业务数据和系统进行关联探索，探索哪一步业务对应哪一个系统，哪些一步业务对应哪些数据和表。分析需求---对业务以及业务数据探索---（测试/生产）环境部署---数仓建模---ETL清洗、转换、推送数据---数据应用。5、ETL清洗、转换、推送数据。
2024-05-11 23:41:53
204
1
原创 Windows的cmd客户端用ssh指定端口号来连接远程Linux
【代码】Windows的cmd客户端用ssh指定端口号来连接远程Linux。
2024-05-11 22:10:28
374
2
原创 Kettle工具出现预览数据类型不一致问题：在使用kettle以sqlserver2000做为输入表，MySQL作为输出表时，sqlserver所预览的数据类型与实际表中数据类型不同
解决kettle数据预览不一致问题
2024-05-11 22:02:05
217
1
原创 企业级数据备份案例：企业工作日记记录，大数据备份恢复一致性校验
本文讲解了我在企业工作时遇到需要进行数据备份以及恢复MySQL数据的过程，包括了问题出现和解决的过程。
2024-05-10 13:33:46
311
原创 史上最简单教程Centos7在线安装部署docker
您的鼓励是我最大的动力，我也会将更多技术文章毫无保留的跟大家分享，希望大家能一起进步！更新 yum。
2024-05-10 11:27:56
197
原创 史上最简单安装Maven教程
Centos7安装Maven教程一、下载安装1.创建 /usr/local/maven 目录进入 /usr/local/maven 目录，并下载 apache-maven-3.6.32.下载Maven的离线tar.gz包3.或者在线下载4.解压 apache-maven-3.6.3-bin.tar.gz5.配置环境配置环境变量，在末尾添加以下内容在配置文件中粘贴上去加载配置查看是否可用mvn -v。
2024-05-07 10:05:51
309
原创 史上最详细最全保姆级教程Centos在线和离线部署安装nginx
本文章详细的提供了nginx在centos中的在线安装和离线安装以及卸载。
2024-05-07 09:43:00
4344
1
原创 保姆级最全教程centos7离线安装部署dolphinscheduler伪分布式
您的鼓励是我最大的动力，我也会将更多技术文章毫无保留的跟大家分享，希望大家能一起进步！
2024-05-06 18:44:41
987
原创 史上最详细最全保姆级教程MySQL的在线和离线安装部署外加卸载一条龙文章
此文章提供了超详细的，在线和离线安装部署MySQL的步骤，以及卸载MySQL的步骤。
2024-05-06 16:39:26
2363
1
原创 保姆级最全Centos7.6 JDK的在线和离线安装部署
JDK1.8超详细环境部署，此文章手把手教您部署学习过程中或企业工作中要用到的JDK1.8，从安装软件到环境配置！
2024-05-06 15:21:07
474
3
原创 spark Scala中dataframe的常用关键字：withColumn
在withColumn的第二个参数传入正则匹配将“·”后面的数据替换成空。如果第一个参数传入的列名和第二个参数传入的列名参数相同的话，就会替换原来的列。如果第一个参数和原列名参数不同，则会追加新增加一列数据在表后面。在withColumn的第二个参数传入正则匹配将“·”后面的数据替换成空。withColumn关键字：用于向现有的DataFrame添加一个新的列，或替换一个现有的列！该参数传入的是操作dataframe表中指定。数据进行操作，最后返回一个。思路是将city字段数据“
2023-03-30 12:07:38
1981
原创 hive的metastore服务不开启，依然可以连接使用Mysql数据库中的元数据！
后来才突然明白了hiveserver2和metasore的配置文件都在同一个hive-site.xml中进行配置的，我把hive默认的Derby数据库改成了Mysql数据库来存储hive需要的元数据，将连接Mysql的四要素（URL、Driver、User、PassWord）配置到了hive-site.xml当中就可以连接MySQL了。
2023-03-26 12:34:07
465
原创 解释hive为什么是Hadoop的客户端
上面这段话可以总结出，hive用到了Hadoop中的三件套，HDFS、Yarn、MapReduce！因为hive用到了Hadoop的三件套（HDFS、Yarn、MapReduce）！中形成一张表进行SQL查询，而且hive写的sql语句会翻译成。所以说hive是Hadoop的客户端，而Hadoop是服务端！hive会将结构化的数据映射到。计算任务来执行，hive执行时会将任务交由。
2023-03-25 22:37:57
212
原创 大学开启大数据开发之路
去年便下的决定，走编程这条路，也坚持了一年多了，发现有很多东西要学到，最近学了不少技术，不过还不能熟练的掌握所学到的技术，比如Java基础知识、python基础、Linux操作系统基础知识、SQL语句、最后还学了点Java的数据结构和算法，确实花了两个月时间学了很多，可能是实践得少，没有完全能灵活运用这些技术，接下来准备开始学习Hadoop，需要把该学的技术大致的学过一遍，再慢慢深入去学习和实践之前学过的技术吧，果然大学所学到的理论知识多了，实践却少了许多。 听说框架更新的很快，我们需要学的不仅仅是.
2022-05-10 01:38:31
377
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人