- 博客(15)
- 收藏
- 关注
RSS订阅原创 docker容器部署ElasticSearch和kibana
1.获取ElasticSearch镜像。2.创建相应配置文件。2.运行kibana。
2024-03-12 16:44:16
379
原创 Docker容器实现mysql主从节点部署
下载mariadb yum -y install mariadb。docker ps 查看镜像是否启动。docker ps 查看镜像是否启动。1.登录mysql-master。2.登录mysql-slave。1.获取镜像及相关配置文件。1.获取镜像及相关配置文件。3.重启容器，使用配置生效。
2024-03-12 16:28:32
304
原创 DolphinSchedule运行数据质量任务失败
任务提交成功了,却没有运行,也没有日志,这个怎么解决,我们的dolphinscheduler是配在k8s上的。
2024-02-26 13:39:06
376
原创 Hadoop+Zookeeper+Hive+Flume+Kafka+Hbase
Hadoop是一个分布式系统基础架构，主要是为了解决海量数据的存储和海量数据的分析计算问题.核心架构:HDFS:分布式文件系统MapReduce:分布式计算系统YARN:分布式资源管理系统一、计算机的性能CPU、内存、磁盘健康、网络带宽二、磁盘IO1、数据倾斜2、Map和Reduce数量设计的不合理3、Map运行的时间过长、导致Reduce等待时间过久4、小文件过多5、大量的不可切分的超大的压缩文件6、Spill次数过多（导致大量落盘操作）。
2023-11-11 14:19:58
257
原创 Spark+Flink+DW+DB
Spark是一个快速、通用、可扩展的大数据处理和分析引擎。它提供了一种高级编程模型和丰富的API，使开发人员能够轻松地处理大规模的结构化和非结构化数据。Spark的核心概念是弹性分布式数据集（RDD），它是一个可分区、可并行操作的容错数据集合。RDD具有容错性和高效性能，可以在内存中缓存数据，以支持多次迭代计算和快速数据共享，从而加速数据处理过程。Spark提供了多种编程语言的API，包括Scala、Java、Python和R，使得开发人员可以使用自己熟悉的语言进行应用程序开发。
2023-11-11 14:16:50
101
原创 FAILED: SemanticException Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveExce
注意：hive.spark.client.connect.timeout的默认值是1000ms，如果执行hive的insert语句时，抛如下异常，可以调大该参数到10000ms。（注意：端口号8020必须和namenode的端口号一致）-->执行插入语句时,报了如上错误,找了半天是由于超时时间的原因。--Hive和Spark连接超时时间-->--Hive执行引擎-->--Spark依赖位置。
2023-10-03 18:56:35
515
原创 Caused by: java.lang.ClassNotFoundException: org.apache.flume.source.kafka.kafkaSource
问题:用flume从kafka往hdfs写数据的时候,找不到这个类,最后发现从flume官网复制kafkasource的时候大写字母不知道咋回事变成小写的了解决方案:将kafkaSource 改为大写的 KafkaSource
2023-10-01 21:30:19
133
2原创 Exception in thread “main“ org.apache.hadoop.security.AccessControlException: Permission denied: use
然后重启hdfs集群,重启Hive相关服务,重新运行即可。进入Hadoop安装目录下修改。
2023-09-05 15:17:50
353
原创 Failed connect to mirrors.cloud.aliyuncs.com:80； Connection refused【拒绝连接】
问题:将yum换成国阿里内镜像源之后更新,一直连接失败。原因:部分yum源失效。
2023-08-23 11:36:02
493
原创 Error while executing topic command : Timed out waiting for a node assignment. Call: listTopics
kafka3.0.0版本后取消了--Zookeeper命令,改为了--bootstrap-server所以查询端口号2181超时故应该使用kafka Broker默认端口:9092进行查询。
2023-08-20 11:34:06
877
原创 Access denied for user ‘default_cluster:sol@192.168.79.106‘ (using password: YES)“
重新密码登录Doris数据库即可。
2023-08-19 10:10:59
375
原创 Doris be启动失败
* soft nofile 65536* hard nofile 65536* soft nproc 65536* hard nproc 65536vim /etc/sysctl.conf在文件最后一行添加 vm.max_map_count=2000000让他永久生效 sysctl -p检查是否生效 sysctl -a|grep vm.max_map_count
2023-08-15 12:50:45
1008
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人