大数据
文章平均质量分 78
mp9105
now or next
展开
-
Azkaban Executor 设置任务并行度
Azkaban Executor 设置任务并行度 1.问题描述 最近使用Azkaban进行Hive的任务调度,工作流结构如下 其中每一层都是一个工作流,每一层并行任务最少有5个,最多有二十多个,下一层执行依赖于上一层,但是在实际执行过程中,同一层最多只有10个任务并行执行。 2.问题分析 查看Yarn的Schedular,发现资源并不紧缺,联想到这是Azkaban的配置问题。 查看AzkabanExecutorConfiguration参数配置,发现需要重新设置flow.num.job.threads,该原创 2021-03-09 18:48:45 · 1268 阅读 · 0 评论 -
Hive分区字段含中文报错问题解决方案
使用Hive创建动态分区时,如果分区中含有中文,会报以下错误。 Illegal mix of collations (latin1_bin,IMPLICIT) and (utf8_general_ci,COERCIBLE) for operation ‘=’ 原因应该是分区表的编码和全局编码不相同造成的 提供两种解决方案: 方案一:修改mysql配置 临时修改:进入mysql中设置如下参数 set character_set_client = utf8; set character_set_conne原创 2021-02-23 13:21:06 · 2526 阅读 · 0 评论 -
Hadoop3.1.3集群安装
Hadoop3.1.3集群安装一、准备工作1.虚拟机准备2.安装必要插件3.修改主机名4.关闭防火墙5.设置静态ip及映射6.编写分发脚本7.配置ssh无密登录配置8.安装JDK9.重启二、安装Hadoop1.集群规划2.linux181上安装Hadoop1)解压安装包2)配置文件① 核心配置文件② HDFS配置文件③ YARN配置文件④ MapReduce配置文件⑤ workers文件⑥ 修改hadoop.env环境变量3.修改Hadoop一键启动脚本① 修改HDFS集群一键脚本① 修改HDFS集群一键脚原创 2021-02-19 14:13:43 · 288 阅读 · 0 评论