weixin_43581113的博客

将驱动分别放到./pi-server/libs、./alert-server/libs、./master-server/libs、./worker-server/libs、./tools//libs、./standalone-server/libs/standalone-server 目录下。浏览器访问地址 http://localhost:12345/dolphinscheduler/ui 即可登录系统UI。创建数据库 数据库跟用户密码都可以自定义，也可以跟ds不在同节点。

下载connector-hive-2.3.4.jar、connector-mongodb-2.3.4.jar到./connectors。一定要把sink的source_table_name 指定为transform的result_table_name。不要选高版本，高版本没有./bin/mongo目录 不能连接mongo。会把所有需要的connector都下载 一天别干别的了。配置执行引擎 spark or flink。2.安装mongodb。3.同步数据到hive。

doris1.2 默认支持broker load。2.1 2.0默认支持hdfs load。broker load参数如下。hdfs load参数如下。建议用hdfs load。

finebi在创建用户的时候用户名可以用user1密码User1@123姓名是使用者姓名。为了防止A离职导致新入职的B的账号是A。

select date_format(current_timestamp,‘yyyy-MM-dd HH:mm:ss’)=current_date 返回 true。select date_format(‘2024-03-14’,‘yyyy-MM-dd HH:mm:ss’)=‘2024-03-14’ 返回 false。猜猜以下两个sql的返回结果。

【代码】hive 三表full join。

between oracle mysql hive

doris 1064 - errCode = 2, detailMessage = Exceeded the maximum number of child expressions (10000).因为 where in (list) list太长 可以用多个or拼接

select count(1),count(id),count(distinct id) from(select 1 as idunion allselect 1 as idunion allselect 2 as idunion allselect null as id) a;

很多人担心信息泄露，很多公司也有大数据，如果打开滴滴它就知道你去哪里，打开京东它就知道你要买什么，打开饿了么你能实时知道自己的饭在哪，这是互利互惠的。既然改变不了它，那就多几个智能笔记本吧...

yarn-client和yarn-cluster的区别Cluster运行在applicationmaster中，提交了作业之后可以关闭client，在yarn上运行Client 运行在本地客户端，client不能离开

1通过create在master节点创建rpcenv2通过setupendpoint在master节点创建masterendpoint3通过create在worker节点创建rpcenv4通过setupendpoint在woker节点创建workerendpoint5通过setupendpointref在woker节点创建masterendpointref6masterendpointref向masterendpoint注册包括内存cpu等7masterendpoint在table中注册work

Spark通信架构之前是akka现在是netty 都是邮局模型 弃用akka的原因是akka不同版本之间不能通信RpcEndpoint 通过Dispatcher把内部消息发送给inbox 把外部消息发送给outbox ，Outbox通过transportclient把消息发送出去 其他组件只有一个 outbox、transportclient有多个 是一对一的，transportserver接收外部的消息到dispatcher...

mysql decimal类型排序decimal类型是按照字典序排序!decimal类型是按照字典序排序!