hadoop
文章平均质量分 83
青冬
想改变世界,却困于肉身。
展开
-
spark-sql sql on yarn --deploy-mode cluster 改造
众所周知,spark-sql 不能提交到远端并且使用 cluster进行部署:Cluster deploy mode is not applicable to Spark SQL shell.如果环境可以请使用 --deploy-mode client,如果有特殊需要请见下这是由于spark-sql 提供了一种本地交互模式,让client端在交互模式中提供sql进行执行。但spark-sql也有-e和-f模式,提供用户一种和-f sqlFile的方式运行,这两种方原创 2023-09-18 16:35:13 · 575 阅读 · 0 评论 -
Spark3 AQE (Adaptive Query Execution) 一文搞懂 新特性
Spark3 新特性 AQE Adaptive Query Execution 原理 代码 讲解原创 2022-12-03 01:53:30 · 2888 阅读 · 1 评论 -
Quorum Journal Manager QJM实现高可用HA文件同步原理
序since: 2021年5月23日 16:13auth: Hadi参考:https://blog.csdn.net/breakout_alex/article/details/88171114https://blog.csdn.net/weixin_42782897/article/details/89335674https://blog.csdn.net/zuotengseven/article/details/108216736前言上次我们讲了Hadoop 高可用...原创 2021-05-26 00:56:31 · 999 阅读 · 1 评论 -
Hadoop高可用HA原理-全流程讲解
序Hadoop高可用全流程讲解since:2021年5月22日 21:36auth:Hadi参考:https://blog.csdn.net/weixin_40652340/article/details/78557775https://blog.csdn.net/weixin_42782897/article/details/89335674https://blog.csdn.net/qq_24852439/article/details/104185496前言玩...原创 2021-05-22 23:29:50 · 1884 阅读 · 2 评论 -
nifi ListSFTP等代理设置
nifi ListSFTP等代理设置前言使用nifi进行大量采集的时候,处于对集群的保护一般都会只有接口机能与对方提供的数据源进行互通。这个时候使用nifi集群进行采集很可能nifi无法直接进行网络互通,需要使用到代理 来连接对方服务器采集数据。查看nifi采集配置如下图所示,nifi采集一共有三个代理设置,我推荐使用 Proxy Configuration Service进行配置(原因为可以设置校验的账号密码,其余不行。)nifi代理可选HTTP HTTPS 和socks5进行代理。soc原创 2020-12-21 17:03:05 · 981 阅读 · 6 评论 -
NiFi连接HDFS联邦(viewfs)操作
NiFi连接hdfs&联邦(viewfs)操作前言NiFi很多时候需要入库到hdfs或者从hdfs从hdfs进行出库,所以在NiFi中可以找到PutHDFS/ListHDFS等对HDFS进行相关操作的组件。这些都是不需要本地含有hdfs环境的,所以想要连接hdfs必须获取一些配置。(HDFS提供的restful接口或者一些其他接口可以快捷的获取到hdfs上的文件信息)非联邦的HDFS例如PutHDFS需要一个 Hadoop Configuration Resource 填写hdfs-si原创 2020-12-15 12:06:54 · 542 阅读 · 0 评论