Docker容器实现mysql主从节点部署 下载mariadb yum -y install mariadb。docker ps 查看镜像是否启动。docker ps 查看镜像是否启动。1.登录mysql-master。2.登录mysql-slave。1.获取镜像及相关配置文件。1.获取镜像及相关配置文件。3.重启容器，使用配置生效。
Hadoop+Zookeeper+Hive+Flume+Kafka+Hbase Hadoop是一个分布式系统基础架构，主要是为了解决海量数据的存储和海量数据的分析计算问题.核心架构:HDFS:分布式文件系统MapReduce:分布式计算系统YARN:分布式资源管理系统一、计算机的性能CPU、内存、磁盘健康、网络带宽二、磁盘IO1、数据倾斜2、Map和Reduce数量设计的不合理3、Map运行的时间过长、导致Reduce等待时间过久4、小文件过多5、大量的不可切分的超大的压缩文件6、Spill次数过多（导致大量落盘操作）。
Spark+Flink+DW+DB Spark是一个快速、通用、可扩展的大数据处理和分析引擎。它提供了一种高级编程模型和丰富的API，使开发人员能够轻松地处理大规模的结构化和非结构化数据。Spark的核心概念是弹性分布式数据集（RDD），它是一个可分区、可并行操作的容错数据集合。RDD具有容错性和高效性能，可以在内存中缓存数据，以支持多次迭代计算和快速数据共享，从而加速数据处理过程。Spark提供了多种编程语言的API，包括Scala、Java、Python和R，使得开发人员可以使用自己熟悉的语言进行应用程序开发。
FAILED: SemanticException Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveExce 注意：hive.spark.client.connect.timeout的默认值是1000ms，如果执行hive的insert语句时，抛如下异常，可以调大该参数到10000ms。（注意：端口号8020必须和namenode的端口号一致）-->执行插入语句时,报了如上错误,找了半天是由于超时时间的原因。--Hive和Spark连接超时时间-->--Hive执行引擎-->--Spark依赖位置。
Caused by: java.lang.ClassNotFoundException: org.apache.flume.source.kafka.kafkaSource 问题:用flume从kafka往hdfs写数据的时候,找不到这个类,最后发现从flume官网复制kafkasource的时候大写字母不知道咋回事变成小写的了解决方案:将kafkaSource 改为大写的 KafkaSource
Exception in thread “main“ org.apache.hadoop.security.AccessControlException: Permission denied: use 然后重启hdfs集群,重启Hive相关服务,重新运行即可。进入Hadoop安装目录下修改。
Failed connect to mirrors.cloud.aliyuncs.com:80； Connection refused【拒绝连接】 问题:将yum换成国阿里内镜像源之后更新,一直连接失败。原因:部分yum源失效。
Error while executing topic command : Timed out waiting for a node assignment. Call: listTopics kafka3.0.0版本后取消了--Zookeeper命令,改为了--bootstrap-server所以查询端口号2181超时故应该使用kafka Broker默认端口:9092进行查询。
Doris be启动失败 * soft nofile 65536* hard nofile 65536* soft nproc 65536* hard nproc 65536vim /etc/sysctl.conf在文件最后一行添加 vm.max_map_count=2000000让他永久生效 sysctl -p检查是否生效 sysctl -a|grep vm.max_map_count
关注
