自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(14)
  • 收藏
  • 关注

原创 dolphinscheduler3.1.9安装

将驱动分别放到./pi-server/libs、./alert-server/libs、./master-server/libs、./worker-server/libs、./tools//libs、./standalone-server/libs/standalone-server 目录下。浏览器访问地址 http://localhost:12345/dolphinscheduler/ui 即可登录系统UI。创建数据库 数据库跟用户密码都可以自定义,也可以跟ds不在同节点。

2024-06-26 18:47:01 281

原创 seatunnel同步mongodb的json数据到hive

下载connector-hive-2.3.4.jar、connector-mongodb-2.3.4.jar到./connectors。一定要把sink的source_table_name 指定为transform的result_table_name。不要选高版本,高版本没有./bin/mongo目录 不能连接mongo。会把所有需要的connector都下载 一天别干别的了。配置执行引擎 spark or flink。2.安装mongodb。3.同步数据到hive。

2024-04-25 10:55:36 563 5

原创 doris hdfs load与broker load参数对比

doris1.2 默认支持broker load。2.1 2.0默认支持hdfs load。broker load参数如下。hdfs load参数如下。建议用hdfs load。

2024-03-19 14:03:57 359 1

原创 finebi不能修改用户名但能修改姓名

finebi在创建用户的时候用户名可以用user1密码User1@123姓名是使用者姓名。为了防止A离职导致新入职的B的账号是A。

2024-03-15 16:10:27 341 1

原创 hive on spark时间大小比较

select date_format(current_timestamp,‘yyyy-MM-dd HH:mm:ss’)=current_date 返回 true。select date_format(‘2024-03-14’,‘yyyy-MM-dd HH:mm:ss’)=‘2024-03-14’ 返回 false。猜猜以下两个sql的返回结果。

2024-03-14 17:26:03 399 1

原创 hive 三表full join

【代码】hive 三表full join。

2023-06-30 11:20:01 281

原创 between在oracle、mysql、hive的大小比较

between oracle mysql hive

2022-08-30 10:48:01 512 1

原创 doris 1064 - errCode = 2, detailMessage = Exceeded the maximum number of child expressions (10000).

doris 1064 - errCode = 2, detailMessage = Exceeded the maximum number of child expressions (10000).因为 where in (list) list太长 可以用多个or拼接

2022-01-24 16:09:01 4490 1

原创 count(1),count(id),count(distinct id)的不同

select count(1),count(id),count(distinct id) from(select 1 as idunion allselect 1 as idunion allselect 2 as idunion allselect null as id) a;

2021-09-22 15:25:40 307

原创 大数据与信息泄露

很多人担心信息泄露,很多公司也有大数据,如果打开滴滴它就知道你去哪里,打开京东它就知道你要买什么,打开饿了么你能实时知道自己的饭在哪,这是互利互惠的。既然改变不了它,那就多几个智能笔记本吧...

2021-04-21 08:47:33 493

原创 spark on yarn client与cluster的区别

yarn-client和yarn-cluster的区别Cluster运行在applicationmaster中,提交了作业之后可以关闭client,在yarn上运行Client 运行在本地客户端,client不能离开

2021-02-18 10:59:17 101

原创 spark节点启动流程

1通过create在master节点创建rpcenv2通过setupendpoint在master节点创建masterendpoint3通过create在worker节点创建rpcenv4通过setupendpoint在woker节点创建workerendpoint5通过setupendpointref在woker节点创建masterendpointref6masterendpointref向masterendpoint注册包括内存cpu等7masterendpoint在table中注册work

2021-02-18 10:41:10 362

原创 Spark通信架构

Spark通信架构之前是akka现在是netty 都是邮局模型 弃用akka的原因是akka不同版本之间不能通信RpcEndpoint 通过Dispatcher把内部消息发送给inbox 把外部消息发送给outbox ,Outbox通过transportclient把消息发送出去 其他组件只有一个 outbox、transportclient有多个 是一对一的,transportserver接收外部的消息到dispatcher...

2021-02-18 10:20:10 120

原创 mysql decimal类型排序

mysql decimal类型排序decimal类型是按照字典序排序!decimal类型是按照字典序排序!

2019-03-20 17:45:11 4431

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除