阿顾的博客

网上很多都说要配置–driver-class-path的，又说要把mysql驱动包放到spark默认的classpath下面其实只需要配置–jars，然后设置下driver配置即可然后执行脚本spark2-submit \--master yarn \--deploy-mode cluster \--class com.bigdata.PreWarningScalaAppV2 \-...

异常出现我们可以看到在org.apache.spark.streaming.kafka010.InternalKafkaConsumer找不到对应的类解决方法：因为spark对应kafka有版本要求，我们在CDH的spark中搜索kafka然后选择0.10保存之后，然后重启下Spark部署之后，重新执行命令spark2-submit \--master yarn \--d...

异常出现调用的命令如下：spark2-submit \--master yarn \--deploy-mode cluster \--class com.bigdata.PreWarningScalaAppV2 \--jars /var/lib/hadoop-hdfs/converter-moshi-2.1.0.jar,/var/lib/hadoop-hdfs/fastjson-1.2...

文章目录机器准备一 节点初始化1.1 设置所有节点的hosts文件1.2 关闭防火墙和清空规则1.3 关闭所有节点的selinux1.4 设置所有节点的时区1.5 时钟同步1.5.1 选取hadoop001为ntp主节点1.5.2 从节点同步1.5.3 添加定时任务二 jdk部署2.1 jdk版本选择三 MySQL 安装四 元数据+用户+jdbc包五 CM部署5.1 安装Server5.2 安装A...

我们要通过126邮箱发送到qq邮箱一 开启126授权码二设置CDH点击Alert Publisher配置相关信息设置465端口三 测试点击Alerts-> Send Test Alert测试结果如下...

CDH的官网都写的很详细，我们要学会看官网的步骤去安装，是最权威的文章目录一 找到Spark在哪里二 安装CDS2.1 安装Service Descriptor步骤a步骤b步骤c步骤d2.2 添加包裹仓库(parcel repository)2.3 CMS配置Parcel URL2.4 下载，分发，激活2.5 添加Spark2 服务一 找到Spark在哪里官网的文档地址：https://do...

文章目录一 下载包裹文件二 安装httpd三 对parcel进行分发和激活四 添加服务五 测试数据一 下载包裹文件http://archive.cloudera.com/kafka/parcels/4.1.0/创建下载的目录，并cd进去mkdir kafka_parcelcd kafka_parcel下载三个文件wget http://archive.cloudera.com/k...