- 博客(8)
- 收藏
- 关注
RSS订阅原创 spark sql总结
spark sql总结一、内置函数1.1、聚合函数（1）any(expr)：如果'expr'的至少一个值为true，则返回trueeg：SELECT any(col) FROM VALUES (true), (false), (false) AS tab(col);+--------+|any(col)|+--------+| true|+--------+SELECT any(col) FROM VALUES (NULL), (true), (false) AS tab(co
2024-11-06 14:47:09
315
原创 Flume使用总结
1.1、复制选择器。如果backoff设置为true则启用退避机制，失败的sink会被放入黑名单，达到一定的超时时间会自动从黑名单中移除，如果从黑名单移除仍然失败，则会再次进入黑名单且超时时间翻倍，以避免在无响应的sink上浪费过长时间。如果没有启用退避机制，发生sink传输失败后，会将本次负载传给下一个sink继续尝试，因此这种情况下是不均衡的。eg:a1.sinkgroups = g1a1.sinkgroups.g1.sinks = k1 k2a1.sinkgroups.g1.p
2024-09-14 15:28:31
1007
原创 SQL总结
create or replace function 函数名(参数1 [in|out|in out] 数据类型,参数2 [in|out|in out] 数据类型,...return 返回结果的数据类型is/asbegin自定义函数的计算逻辑return 计算结果;--函数的执行体中一定要包含返回值end;
2023-12-21 14:34:37
431
原创 Hadoop配置ssh免密登录（Centos7）
1、在每台虚拟机上生成公钥和私钥安转SSH包：rpm -qi openssh-server启动SSH:service sshd start三台机器执行命令：ssh-keygen -t rsa2、将每台虚拟机的公钥拷贝至node01三台机器执行命令：ssh-copy-id node013、复制node01的认证到其他机器上node01执行：scp /root/.ssh/authorized_keys node02:/root/.sshscp /root/.ssh/autho
2023-11-06 10:39:13
212
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人