大数据
文章平均质量分 62
我在燕京有把刀
这个作者很懒,什么都没留下…
展开
-
Scala 通过读取HDFS上的文件创建SparkRDD出现的问题
一、Could not locate executable null\bin\winutils.exe in the Hadoop binaries.如果本机操作系统是Windows,如果在程序中使用了Hadoop相关的东西,比如写入文件到HDFS,则会遇到该异常出现这个问题的原因,并不是程序的错误,而是用到了hadoop相关的服务,解决办法:1、在本机上解压对应版本的hadoop压缩包不太清楚别的版本压缩包行不行,bin里面要有winutils.exe如果没有,请自行前往下载对应版本https原创 2021-11-19 15:23:57 · 1388 阅读 · 0 评论 -
DolphinScheduler集群安装部署
本次安装的是1.3.5版本,为生产环境三节点集群,具体可参考官方网站手册quick-start (apache.org)一、前置要求MySQL 5.7 : MySQL则需要JDBC Driver 5.1.47+JDK1.8以上,配置好环境变量Zookeeper(3.4.6+)Hadoop(2.6+):选装,如果不用Hadoop可不安装如上要求是根据官网配置要求,且我自己选用组件二、下载并解压安装包1、地址:Apache Download Mirrors下载完,上传到服务器上2、解原创 2021-08-25 17:17:47 · 1078 阅读 · 1 评论 -
ERROR: Invalid HADOOP_COMMON_HOME
启动Hadoop、Yarn时报错/start-yarn.shERROR: Invalid HADOOP_COMMON_HOME解决方法:1、首先查看JAVA_HOME是否配置正确javajavac2、然后再查看配置HADOOP_HOME是否配置正确原创 2021-04-28 14:20:48 · 1326 阅读 · 0 评论 -
Kafka(三)——eagle监控器配置
四、Kafka监控——Eagle1、修改kafka启动命令kafka/bin vim kafka-server-start.sh修改if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"fi为:if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:Per原创 2021-04-23 15:12:21 · 391 阅读 · 0 评论 -
Kafka(二)——架构学习
Kafka深入 ———学习尚硅谷Kafka课程视频笔记1、Kafka工作流程1.1、结构生产者生产的消息还会不断追加到log的末尾,如果log文件过大,则会导致数据定位效率低下。因此,Kafka有了分片和索引机制一个partition对应多个Segment。一个Segment有一个index和一个log文件,这些文件位于一个文件夹下。1.2、工作流程Kafka的消息以topic分类。topic是一个逻辑上的概念,log文件是实际产物。生产者原创 2021-04-23 11:50:28 · 135 阅读 · 0 评论 -
Kafka(一)——架构和基础操作
一、Kafka架构1、消息队列(Message Queue)1.1、点对点模式一对一,消费者主动拉取数据,消息收到后消息清除生产者将消息发送到Queue中,然后消费者从queue里拉取数据,一条消息被消费了之后,queue就删除了该消息。虽然queue支持存在多个消费者,但是一条消息只有一个消费者能消费到1.2、发布/订阅模式一对多,消费者消费数据之后不会清除数据生产者将消息发布到topic中,同时有多个消费者消费该消息,topic里面的消息会被所有消费者消费Kafka基于发布/订阅模式原创 2021-04-22 14:49:36 · 77 阅读 · 0 评论 -
Kafka/flume集群启动脚本无效
使用脚本启动kafka无效脚本如下for i in hadoop102 hadoop103 hadoop104doecho "========== $i ==========" ssh $i '/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties'echo $?done使用后在hadoop104 jps一把,发现没有Kafka进程,去监控Kafka日志,原创 2021-04-22 11:51:52 · 605 阅读 · 0 评论 -
Flume学习笔记
Flume学习笔记 ——学习尚硅谷视频笔记1、架构1.1、Agent一个Agent为一个JVM线程:由source,channel,sink三部分组成1.2、source用于收集数据,支持多种数据源avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。1.3、channelchannel用于存储source传过原创 2021-04-20 18:22:48 · 230 阅读 · 1 评论