- 博客(22)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 HDFS安全模式
假设我们设置的副本数（即参数dfs.replication）是3，那么在datanode上就应该有3个副本存在，假设只存在2个副本，那么比例就是2/3=0.666。hdfs默认的副本率0.999。我们的副本率0.666明显小于0.999，因此系统会自动的复制副本到其他dataNode，使得副本率不小于0.999。如果系统中有5个副本，超过我们设定的3个副本，那么系统也会删除多于的2个副本。，用于保证集群中的数据块的安全性。当集群启动的时候，会首先进入安全模式。当系统处于安全模式时会检查数据块的完整性。
2024-04-10 14:36:23
155
原创 spark和hadoop的区别
而基于线程的方式计算是为了数据共享和提高执行效率，Spark采用了线程的最小的执行单位，但缺点是线程之间会有资源竞争。实际上，Spark已经很好地融入了Hadoop生态圈，并成为其中的重要一员，它可以借助于YARN实现资源调度管理，借助于HDFS实现分布式存储。此外，Hadoop可以使用廉价的、异构的机器来做分布式存储与计算，但是，Spark对硬件的要求稍高一些，对内存与CPU有一定的要求。一个进程一般包含多个线程, 一个进程下的多个线程共享进程的资源。，没有互相干扰，监控方便，但是问题在于。
2024-04-10 14:11:39
365
1
原创 Hbase常见问题及解决方案
1.1找到$HADOOP_HOME/etc/mapred-site.xml,增加以下配置。无法连接到HBase，请检查HBase的Master是否正常启动。是因为缺少用户定义造成的，所以分别编辑开始和关闭脚本。1.2 将配置文件分发到各个节点。1.3重新启动YARN集群。
2024-04-10 13:59:19
447
1
原创 kafka监控工具Kafka-eagle安装
在开发工作中，当业务前提不复杂时，可以使用Kafka命令来进行一些集群的管理工作。但如果业务变得复杂，例如：我们需要增加group、topic分区，此时，我们再使用命令行就感觉很不方便，此时，如果使用一个可视化的工具帮助我们完成日常的管理工作，将会大大提高对于Kafka集群管理的效率，而且我们使用工具来监控消费者在Kafka中消费情况。早期，要监控Kafka集群我们可以使用Kafka Monitor以及Kafka Manager，但随着我们对监控的功能要求、性能要求的提高，这些工具已经无法满足。
2024-01-27 19:17:33
1154
原创 project标签爆红：“unexpected markup ＜!d (position: START_DOCUMENT seen \r\n＜!d... @2:4) maven依赖报错
maven依赖报错 Non-parseable POM xxxx unexpected markup。
2023-03-20 15:17:48
9007
6
原创 oozie报Failing Oozie Launcher, output.properties data exceeds its limit [2048]
oozie调度任务报Failing Oozie Launcher, output.properties data exceeds its limit [2048]
2023-02-20 16:19:25
1922
原创 (hue)hive报错: FAILED: Execution Error, return code 137 from org.apache.hadoop.hive.ql.exec.mr.Mapred.
FAILED: Execution Error, return code 137 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
2023-02-15 21:19:26
2174
原创 hive报错Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql. metadata.HiveFatalException: [Er
[Error 20004]: Fatal error occurred when node tried to create too many dynamic partitions. The maximum number of dynamic partitions is controlled by hive.exec.max.dynamic.partitions and hive.exec.max.dynamic.partitions.pernode. Maximum was set to: 100
2023-02-15 21:07:22
623
原创 在一个由小写英文字母(a-z)组成的字符串中，查找最短子串，其头尾字母相同。输出最左边的该类子串
在一个由小写英文字母(a-z)组成的字符串中，查找最短子串，其头尾字母相同。输出最左边的该类子串。
2022-12-15 18:54:40
137
1
原创 解决 org.springframework.amqp.AmqpIOException: java.io.IOException
org.springframework.amqp.AmqpIOException: java.io.IOException
2022-07-15 10:43:48
3737
原创 DockerSwarm构建集群报Error response from daemon: connect: no route to host“
用DockerSwarm加入管理节点报错：Error response from daemon: rpc error: code = Unavailable desc = connection error: desc = “transport: Error while dialing dial tcp 192.168.24.128:2377: connect: no route to host”当你创建好管理节点，并让工作节点加入管理节点时，报出上面的错误，是因为你没有开发管理节点机器的防火墙端口解
2022-03-26 17:26:10
1869
原创 实现 pow(x, n) ，即计算 x 的 n 次幂函数。JAVA
实现 pow(x, n) ，即计算 x 的 n 次幂函数（即，xn）。示例 1：输入：x = 2.00000, n = 10输出：1024.00000示例 2：输入：x = 2.10000, n = 3输出：9.26100示例 3：输入：x = 2.00000, n = -2输出：0.25000解释：2-2 = 1/22 = 1/4 = 0.25这是一道快速幂的题。快速幂知识:https://liuyangjun.blog.csdn.net/article/details/8562
2021-12-11 02:05:36
729
原创 题目描述:小明今天收了N个鸡蛋，每个鸡蛋各有重量，现在小明想找M个重量差距最小的鸡蛋摆成一盒出售，输出符合条件的最重一盒鸡蛋的总重量.。(JAVA)
题目描述小明今天收了N个鸡蛋，每个鸡蛋各有重量，现在小明想找M个重量差距最小的鸡蛋摆成一盒出售，输出符合条件的最重一盒鸡蛋的总重量.。输入说明第一行，用空格分隔的2个整数，分别表示鸡蛋个数N(N<1000)和每盒个数M(M<N)；第二行，N个鸡蛋重量（浮点）。输出说明1行，符合条件的最重一盒鸡蛋的总重量（保留2位小数）输入样例复制8 411 9 12 5 10 19 8 6输出样例复制42.00import java.util.*;public class Mai
2021-12-10 14:52:41
855
2
kafka2种工具 kafkatool-64bit.exe kafka-eagle-bin-1.4.6.tar.gz
2024-01-27
flink-1.13.1-bin-scala-2.11以及hadoop连接器、kafka连接器
2024-01-26
实验项目 基于改进K-MEANS聚类算法的作物病害图像分割
2023-03-20
mysql8 麒麟arm版 aarch64
2022-10-03
实验项目 MapReduce 编程
2022-04-18
实验项目 实战 HDFS 实验报告
2022-04-18
部署全分布模式Hadoop集群 实验报告
2022-04-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人