chaseasheep-CSDN博客

原创远程请求访问Hadoop集群时报错：No common protection layer between client and server

这个错误是自己这边和对方的rpc通讯加密层设置不一致所致，需要保证自己这边与对方的 hadoop core-site.xml配置文件中。需要将自己这边的数据中台与对方的hive中台进行连接，在kerberos文件认证与身份认证等通过后，参数设置保持一致，如同为。

2023-12-25 16:51:08 939

原创用seatunnel将数据同步至datahub后,datahub中数据为null值

在使用 seatunnel 将 InfluxDB 数据抽取到阿里云 DataHub 时，遇到了一个问题：在一条数据中只有一个字段有值，而其他字段的值为 null。这样，在使用 seatunnel 将 InfluxDB 数据传输到阿里云 DataHub 时，每行数据的所有字段都会被正确地写入，不再出现其他字段为 null 的情况。具体来说，在源码的 connector-datahub 连接器组件的 DatahubWriter 中的 write 函数中，存在一个问题。

2023-11-15 17:17:30 269

原创 seatunnel从数据库抽取数据时报错:Get column index of query result exception

从influxDB往外抽数时经常报这个错误，已解决，在此总结下原因。

2023-10-08 11:24:31 366 1

原创 HBase启动后HMaster自动消失＜hostname＞:9000 failed on connection exception: java.net.ConnectException: 拒绝连接

在做大数据项目时搭建HBase集群，配置好文件后启动集群，HMaster进程两秒后自动消失。HRegionServer还在。本质上就是HMaster没启动起来。于是查看logs文件夹，发现报错：查询网上资料后发现就是两种思路一种是：防火墙没有关闭或者开启了没有开放9000端口导致的这种问题的朋友可以先检查一下防火墙另一种是9000端口已被占用。但是我并不是这两种问题。启动HBase要满足的是：hdfs,yarn,zookeeper（如果在hbase-env.sh中管理zookeeper那一项选择了fa

2022-06-18 15:27:09 3389 1

原创计算机网络知识总结1 - TCP三次握手

本文作为学习笔记，记录了TCP三次握手的流程及异常状况的现象等。TCP 是面向连接的协议，所以使用 TCP 前必须先建立连接，而建立连接是通过三次握手来进行的先建立连接，后使用TCP。建立连接是通过三次握手来进行的，客户端和服务端总共发3个包。三次握手的主要作用是确认双方接收和发送能力是否正常、指定自己的初始化序列号、为后面可靠性传输做准备一开始，客户端和服务端都处于 CLOSED 状态。先是服务端主动监听某个端口，处于 LISTEN 状态****客户端会随机初始化序号（client_isn），将此

2022-06-04 15:23:23 2599

原创回溯法的访问标记

问题背景在使用回溯法解决问题时，往往需要使用一个访问矩阵记录已经走过（访问过）的节点和路径避免重复访问，造成死循环。通常情况下在本层到下一层的所有路径都访问完毕时，需要将访问矩阵中的对应本层坐标重新置为false（标记为未访问）便于下次其他路径仍然可以经过该节点。今天在完成剑指offer第一版第12题（矩阵中的路径）和 13题（机器人的运动范围）时，用回溯法解决问题时涉及到了上述问题，该不该在本层访问结束后将访问矩阵置为false。虽然两题的代码近乎相同，但是这一细节却会导致结果完全相异。在此作为学习

2022-04-30 20:16:14 313

原创 Centos8修改静态ip地址后重启网络服务不生效的问题

问题操作环境:Linux Centos8在网络配置中将ip设置为静态ip后BOOTPROTO=staticIPADDR=192.168.101.111(例)重启电脑与网络服务后输入ifconfig语句查询IP地址仍然与设定的静态ip不同解决方案在CentOS8中已废弃网络network.service因此需要使用nmcli配置ip地址在修改好静态ip地址后，依次使用命令nmcli c reloadnmcli networking offnmcli networking on

2022-04-30 10:48:05 3888

原创 linux执行shell脚本时报错：解释器错误，没有那个文件和目录

问题背景最近在构建虚拟机服务器集群时，由于需要在节点之间相互传输、分发文件，因此相比手动挨个传输，通过shell脚本的方式效率会更高。但是在window本地使用Notepad++编辑完上传至虚拟机后一直报错解释器错误，没有那个文件和目录。仔细检查文件路径以及脚本编写，并未发现错误。问题原因经查阅资料后得到，shell脚本编写时的系统与运行时的系统不一致。我是在windows系统下编写，linux系统下运行。windows下的.sh文件的格式为dos格式，和Linux只能执行unix格式的脚本。在w

2022-04-28 00:22:22 7634 1

原创 CentOS 8:Cannot prepare internal mirrorlist: No URLs in mirrorlist

问题在Centos 8上因为要安装mysql5.7,需要使用yum命令,但执行yum命令时报错 No URLs in mirrorlist。经查阅资料后发现从2022年1月31日起，CentOS开发团队将会移除官方镜像源上关于CentOS 8所有的包，届时如果在CentOS 8上再次使用yum命令安装包则会报以下错误：下载元数据失败：Cannot prepare internal mirrorlist: No URLs in mirrorlist解决思路如果还需要继续使用Centos 8,则需更

2022-02-16 01:27:31 8418

原创启动Hbase时集群间拒绝链接原因

今天启动Hbase一直失败，阅读日志后发现失败原因在于各个集群中各个主机间拒绝链接。本文作为个人笔记记录可能导致集群中主机间拒绝连接的原因1.Hbase设置的Zookeeper端口号需要与Zookeeper的端口号一致。（我就是卡在这里了，因为一次非正常关机导致Zookeeper暂时不能使用2181端口号，因此我把Zookeeper的端口号改成了2183，结果Hbase这边还是2181）2.关掉防火墙（每个主机的），或者在防火墙中对端口号进行设定...

2022-02-10 00:31:44 2163

原创使用Hbase的Java api操作时程序一直运行且不报错

问题近日学习了使用Java api对Hbase进行DDL、DML操作，但是在使用api对表进行增删改查以及创建命名空间时，程序一直运行并不报错，但是在使用api确认表是否存在时程序很快返回。网上查阅资料后得到：应该配置Zookeeper端口号等方案，但经尝试后并未解决问题。配置Zookeeper端口号：Configuration configuration = HBaseConfiguration.create();configuration.set(HConstants.ZOOKEEPER_CLI

2022-02-04 23:01:29 2302

原创 HDFS的高可用机制（HA）与Hadoop联邦机制(Federation)概述

背景分布式文件系统中( HDFS，Hadoop Distributed File System )，NameNode在内存中存储着整个文件系统的元数据信息，如文件数据块的地址映射、文件系统的命名空间、文件操作权限等。倘若NameNode节点主机一旦宕机，整个集群即将瘫痪，因此应采用高可用（HA）+联邦机制（Federation）的部署方案搭建集群。高可用的Hadoop集群在搭建Hadoop集群时，通常需要搭建多个NameNode，这样可以保证如果其中一个NameNode发生宕机，另一个NameNod

2022-01-04 17:59:22 2944

原创启动Hadoop集群时DataNode节点启动失败原因总结

背景启动hadoop集群时，在NameNode与SecondaryNode成功启动的同时，DataNode启动失败，本文章将持续更新，总结DataNode节点启动可能的失败原因。操作环境：CentOS8,hadoop-2.7.5总结1.问题：报错 No route to host问题存在可能原因：DataNode所在主机未联网解决方案：作者这里在node02,node03主机使用了ifconfig命令，发现两主机ens33没有启动（没有显示ip地址）。使用命令 sudo dhclient e

2021-12-30 00:16:00 3150 1

原创编译Hadoop源码时找不到pom.xml文件的问题（小细节）

问题：在Linux CentOS7上编译Hadoop源码时，报错[ERROR] The goal you specified requires a project to execute but there is no POM in this directory解决方法：当前执行编译命令的文件夹下没有pom.xml文件，将文件夹切换到含有pom.xml文件的文件夹下（我这里是hadoop-2.7.5-src),再进行编译，成功。...

2021-12-23 20:06:34 1153

原创解决Spring配置xml文件定义p,c命名空间时xmlns标红的问题

在跟随教程学习Spring框架到p,c命名空间这一章时按照步骤在头部引入命名空间xmlns:p="http://www.springframework.org/schema/p" xmlns:c="http://www.springframework.org/schema/c"但显示该url没有被注册，也不能被下载，不能够正常使用后来进入该url链接后并未在schema文件夹中发现目标文件/schema/p与/schema/c，因此这应该是命名空间不能被顺利下载的原因查阅资料后解决方法如下：

2021-11-13 19:08:52 3959 3

原创利用逻辑运算符的短路性质实现递归

解决剑指 Offer 64. 求1+2+…+n 问题时问题描述要求不能使用乘除法、for、while、if、else、switch、case等关键字及条件判断语句（A?B:C）此类问题通常想到使用递归或循环等方法但是实现递归需要通过条件运算符定义递归的出口，如果在一些问题上被限制不能使用if等条件运算符，则可使用逻辑运算符的短路性质模拟递归。以 || 运算符为例，对于A || B这个表达式，如果条件A已经为True，则A || B表达式中不会再去执行条件B。因此模拟递归时，我们可以将A条件设定为递

2021-11-09 13:03:27 319

weixin_42603182的博客