- 博客(104)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 spark之不同序列化对比
在这里插入图片描述](https://i-blog.csdnimg.cn/direct/572b925ccfab414cb9c314be329cfa5f.png。sparksql中使用序列化和不使用差别不大，英文sparksql中默认使用了encode自己实现的序列化方法，加上与不加序列化差别不大。下面是使用不同序列化后的占用资源和数据大小。一，spark的rdd的序列话不同介绍。2，sparksql中序列化的区别。
2024-09-20 22:11:56
323
原创 mysql一主2从部署
1.编辑配置文件修改 MySQL 配置文件（/etc/my.cnf 或 /etc/mysql/my.cnf）以启用二进制日志和设置服务器 ID。4.获取主服务器状态记录主服务器的二进制日志文件名和位置，以便从服务器配置时使用。3.配置从服务器登录 MySQL 并设置主服务器信息和复制用户。3.创建复制用户登录 MySQL 并创建用于复制的用户。rpm -e --nodeps [要卸载的mysql]MASTER_LOG_FILE=‘记录的日志文件名’,4.启动复制启动从服务器的复制进程。
2024-09-13 15:59:46
1078
原创 java中jar包替换指定类的方法
目的是：要将log-retain-service-3.1.4.jar中FileUploadTimerTask修改后，再打回包log-retain-service-3.1.4.jar中。或者你有源码直接改，存在单个类编译报错，这时候可以将整个项目打包成包b，然后从包b中解压出我们要的那个类，这时候这个类就是编译后的文件，可以直接打进我们。<jar -utf log-retain-service-3.1.4.jar 编译后的类文件路径>log-retain-service-3.1.4.jar中。
2024-09-11 18:31:33
231
原创 idea单元测试报错找不到主类
在下面的command line 中选择jar manifest 因为条参数过长，这里设置只使用主类。主要是单测中没有配置类。
2024-09-05 21:50:06
182
原创 Caused by: java.lang.RuntimeException: native zStandard library not available: this version of
最后排查是，集群中的配置路径和我客户端的路径不同，导致任务提交后，还是拿不到库的信息。排查本地环境 hadoop checknative 结果中是有zstd的支持的类库。背景：通过spark直接写hadoop文件,指定格式是csv。3，注意，更改客户端环境一定要注意保证和集群一致，细心细心。再提交后任务还是报一样的错。
2024-09-05 17:53:46
152
原创 kerberos部署
1，kerberos部署中，多个principal公用一个keytab文件处理。执行 kadmin -p admin/admin@EXAMPLE.COM。再一个个的将用户添加到keytab中。
2024-08-21 16:52:33
327
原创 记一个启动有ranger的hiveserver2报错
修改hadoop的etc/hadoop/hadoop-env.sh 中的export HADOOP_OPTS="$HADOOP_OPTS -Djava.security.auth.login.config配置的路径，之前配置有误。1，启动hiveserver2报错。
2024-08-21 15:26:42
292
原创 记一次hivemetastore启动报错
4，最后排查，这个节点rpm部署了hive,现在只是copy了一个hive的目录过来，导致/usr/bin/hive 这个里面和现在部署的安装包不是同一个。3，把hive-site.xml中无关的配置都删掉，重启metastore还是报错。1，启动hivemetastore后报错日志。2，排查lib下的mysql的驱动也在，这里和mysql的驱动大小一样。
2024-08-20 17:01:10
248
原创 yum源添加
类似CentOS-7-x86_64-DVD-1810.iso切分成CentOS-7-x86_64-DVD-1810.z01 CentOS-7-x86_64-DVD-1810.z02 CentOS-7-x86_64-DVD-1810.zip 上传后，执行cat CentOS-7-x86_64-DVD-181* >CentOS-7-x86_64-DVD-1810.zip 再执行unzip CentOS-7-x86_64-DVD-1810.zip。[cdrom]: 是这个Yum源的名称，可以自定义。
2024-08-05 22:14:34
394
原创 Hadoop 3.3.2 HDFS Simple认证Standby同步格式化信息失败 Authentication required
Hadoop 3.3.2 HDFS Simple认证Standby同步格式化信息失败 Authentication required。部署hadoop3.3.2的版本的时候，格式化standby的时候报错。
2024-08-05 14:20:55
268
原创 kerberos认证流程
2，你到了助理办公司，助理拿你的信，（对照一下信里的消息，确认是不是你这个人）确认没问题，告诉你领导位置，同时也会给你一封信（你看不懂的）1，生活场景 你进入某公司要见领导 首先第一次跟保安打交道，沟通完了，保安告诉你助理的办公室位置和一封信（你看不懂，助理看的懂）3，你找到领导，领导拿到你的信（对比一下是不是这个人），没问题了，开始沟通。kerberos 认证3步骤。
2024-08-01 10:00:28
238
原创 kerberos术语
kerberos中认证使用的用户信息也就是（principal 主体中），如果是用户的话，这里包含用户的名称，用户的角色，比如admin，普通用户，等，还有对应的域。
2024-08-01 09:49:37
117
原创 获取对象占用内存
计算大小：如果元素非空，则使用ClassLayout.parseInstance方法解析该对象，并调用instanceSize方法获取其在内存中占用的字节数。初始化：定义一个变量byteSize用于存储所有对象的总字节数，初始值为0。遍历列表：通过for循环遍历传入的dataList中的每一个元素。返回结果：遍历结束后，返回byteSize作为所有对象的总字节数。累加大小：将当前对象的字节数累加到byteSize中。检查元素：对于每个元素，首先检查它是否为非空对象。// 初始化字节大小为0。
2024-07-31 15:23:59
118
原创 部署kafkamanager
在这里插入图片描述](https://i-blog.csdnimg.cn/direct/47c5af5beaec496382162dffb0ce9e9b.png。参考：https://download.csdn.net/blog/column/12424861/132559915。例如：10.0.99.2:2181 10.0.99.7:2181 10.0.1.6:2181/kafka。这是添加对应的kafka的集群，其实本质是指定kafka在zookeeper中的注册地址。1，检查kafka的版本。
2024-07-16 21:49:16
544
原创 【无标题】
docker compose 可以给予compose文件狂苏部署分布式应用，不需要手动一个个创建和运行容器，compose文件是一个文本文件，通过指令定义及群的每个容器（镜像起来就是容器）如何运行。dockerfile是一个文本文件，包含一个个指令，用指令说明要执行什么操作来构建镜像，每一个指令执行都会形成一个layer，镜像是很多layer(层)构成。3，镜像运行起来就是容器，一个镜像可以运行多个容器，每个容器就是一个进程，容器之间相互隔离。是一个虚拟目录，指向宿主机的某个目录。什么是dockfile。
2024-07-05 09:23:52
410
原创 docker的容器操作命令
docker ps -a 查看所有的容器状态（包括未运行的）docker start 镜像名称/镜像id。docker logs 镜像名称/镜像id。docker stop 镜像名称/镜像id。docker ps 查看运行的容器状态。docker logs 查看容器的日志。docker rm 镜像名称/镜像id。docker rm 删除容器。镜像运行起来就是容器。
2024-06-26 23:02:45
223
原创 java连接mysql报错
1.背景，直接升级操作系统从centos-》国产化操作系统，mysql也升级到5.7.442，报错Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Could not create connection to database server. Attempted reconnect 3 times. Giving up. at sun.reflect.NativeConstr
2024-06-21 14:51:34
401
原创 carbondata连接数优化
在Spark中，调度池（Scheduler Pool）用于为不同的作业分配资源池，以控制其执行优先级。设置调度池可以帮助管理不同作业之间的资源争用情况。要使用调度池，您需要配置Fair Scheduler并创建相应的调度池配置文件。1，通过添加spark的调度池。1-2配置调度池文件。
2024-06-13 11:04:47
387
原创 nginx安装部署问题
借鉴了网上的[https://blog.csdn.net/gongchenyu/article/details/131810023]还是报错，报错证书问题。解决nginx: [emerg] unknown directive “stream“ in /etc/nginx/nginx.conf。内网部署nginx，开始执行make，执行不了，后面装了依赖的环境。通过配置https的认证，添加ng的CA证书。记一次nginx启动报错问题处理。问题2，启动nginx报错。
2024-05-28 16:42:54
371
原创 记一次kafkakerberos认证问题
principal文件不带kafka，去掉我自己配置的kerberos.kafka.principal重试。但是查看kafka_client_jass.conf文件，发现。排查思路：检查kerberos配置文件。报错信息是没有找到borker的映射。检查本机确实发现连接的映射没有配置。更改后的kerberos配置文件。加上主机映射测试OK了。
2024-04-17 10:41:24
401
原创 impala部署安装
下载地址：https://mirrors.aliyun.com/centos/7/os/x86_64/Packages/重新上传libkudu_client.so.0依赖包。处理方法：下载readhat依赖包。上传玩还是报错，加了权限OK。查看依赖确实没有依赖。
2024-04-17 09:05:10
248
原创 记一次docker问题
a.首先查看那日志，发现日志中打印空间少于阈值空间，再查看磁盘空间，却发现我所使用的是跟根目录同一个空间，空间被占满，docker 进入docker exec -it a5c8e /bin/bash。1，现象：从页面访问docker中的服务报错404，但是查看对应的服务却还在。3，临时处理方法：删除服务的日志。
2024-02-26 17:32:58
143
原创 hadoop集群主节点挂了standby没有自动切换处理
2，查看配置，hdfs-site.xml中dfs.ha.fencing.methods 设置为>sshfence(hdfs :22)< ，hadoop集群由于主节点的磁盘空间满了，没有及时发现，导致主节点挂掉，过了好久才发现集群访问不了，排查，配置了ha但是灭有自动切换。3，查看zkfc日志，发现日志中显示没有/home/hdfs /.ssh/id rsa文件。6，更改dfs.ha.fencing.methods设置为shell(true)5，创建秘钥文件 ，两个主节点执行。9集群状态自动切换了。
2024-01-23 19:39:20
535
1
原创 flink提交任务报错
检查flink-conf.yaml中配置 在flink-conf.yaml中配置task.cancellation.timeout: 0。2，local模式检查资源情况，服务器资源和你申请的资源大小关系。
2024-01-09 18:17:24
566
原创 【无标题】
背景：第三方的集群是有kerberos认证，通过票据能连上hive，但是hadoop版本我使用的是3.3.2 集群使用的是3.3.4的从本机连接报错，问题明天排查。连接第三方的集群报错。
2023-12-21 21:08:22
332
原创 Caused by: java.lang.IllegalStateException: com.google.protobuf.InvalidProtocolBufferException: Prot
hadoop中namenode报错Caused by: java.lang.IllegalStateException: com.google.protobuf.InvalidProtocolBufferException: Protocol message was too large. May be malicious. Use CodedInputStream.setSizeLimit() to increase the size limit。在hdfs-site.xml中添加以下配置。
2023-11-15 09:49:01
378
原创 本教程旨在为正在构建，部署和使用CarbonData的最终用户和开发人员提供故障排除。
1.从主节点复制core-site.xml，hive-site.xml，yarn-site，carbon.properties文件到集群中的所有其他节点。1.从主节点复制core-site.xml，hive-site.xml，yarn-site，carbon.properties文件到集群中的所有其他节点。1.群的所有节点的core-site.xml，hive-site.xml，yarn-site和carbon.properties不一致。例如，您可以使用ssh将此文件复制到所有节点。
2023-11-08 15:03:42
148
原创 华为开源carbondata中的使用问题处理
A：在最大重试尝试次数后，Spark executor显示任务失败，但是加载具有不良记录的数据并将BAD_RECORDS_ACTION（carbon.bad.records.action）设置为“ FAIL”将仅尝试一次，但会向驱动程序发送信号给失败 而不是抛出异常重试，因为如果发现不良记录并且BAD_RECORDS_ACTION设置为失败，就没有重试的可能性。A：Carbon数据使用创建Carbon会话时指定的存储位置来存储元数据，如架构，字典文件，字典元数据和排序索引。以下插入操作将失败。
2023-11-08 15:02:20
1083
原创 Automatic failover is enabled for NameNode at PS-DEVICE-ID-YDGZ-112012/10.198.112.12:8020 Refusing t
记一次namenode主备节点中主节点的数据盘的磁盘坏掉，备份节点并没有自动切换为active的处理。发现文件有点多，中间没有合并，这个我问题暂时还没处理。手动操作可能导致脑裂，因为我在配置中设置了自动切换。问题：配置了自动切换但是没有自动切换。四，查看namenode下的文件数量。五，临时处理，强制手动切换nn的状态。三，hdfs-site.xml配置。二，执行强制转换为active。nn的状态切换过来了。
2023-11-08 09:59:01
189
java中守护进程小结
2020-11-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人