- 博客(19)
- 收藏
- 关注
RSS订阅原创 【Flink实时数仓踩坑记录】Recovery is suppressed by NoRestartBackoffTimeStrategy
Recovery is suppressed by NoRestartBackoffTimeStrategy和Access denied for user 'root'@'localhost' (using password:YES) 解决方案
2022-07-07 12:47:08
7211
原创 尚硅谷Flink实时数仓脚本群起springBoot服务器gmall-logger.jar失败
脚本群起springboot服务器gmall-logger.jar失败
2022-07-06 09:19:21
892
原创 【Spark错误】Exception in thread “main“ java.lang.NoClassDefFoundError: org/json4s/Formats
spark错误： Exception in thread "main" java.lang.NoClassDefFoundError: org/json4s/Formats
2022-01-30 21:54:22
665
1
原创 【Kafka】群起群关失败
Kafka群起群关脚本失败#!/bin/bashcase $1 in"start"){ for i in node1 node2 node3 do echo "**********$i***********" ssh $i "/export/server/kafka/bin/kafka-server-start.sh -daemon /export/server/kafka/config/server.properties" done};;"stop"){ for i in no
2021-11-30 13:22:37
183
原创 ganglia用windows监控时报错You don‘t have permission to access /ganglia on this server
ganglia无法打开windows网页报错信息：You don’t have permission to access /ganglia on this server.1.停掉httpd服务sudo systemctl stop httpd2.进入/etc/httpd/conf.d/ganglia.conf修改配置信息 sudo vim /etc/httpd/conf.d/ganglia.conf注意！！！这里配置时，只保留Require ip 192.168.88.1（这个地址是Linu
2021-11-27 13:34:33
790
1
原创 【Flume 中Taildir Source问题与解决方案】
Taildir Source适合用于监听多个实时追加的文件，并且能够实现断点续传一.上传成功的文件修改后任可以检测到再续传二.源码中实现是否重新上传是由inode和file名共同决定，只要其中有一个变化就会重新上传，比如hive日志中每一天都会新生成一个hive.log,而前一天的hive.log会加上日期后缀，文件名会更改，这样导致flume重新采集上传，出现冗余如果采用只监控hive.log，不管后缀，不会有更名影响产生冗余，但是inode肯定会变化，如果前一天晚上任务挂点，到了第二天看到，那
2021-11-23 16:42:11
2602
原创 flume采集hive日志写到hdfs问题
解决flume采集hive日志写到hdfs问题在配置flume写日志到hdfs发现写不进去，很苦恼，查了很多资料，终于找到了原因！原来用Flume监听目录，在自己建的.conf文件中需要配置hdfs的路径hdfs://node1.itcast.cn:8020/flume/%Y%m%d/%H这里的端口号应该和hadoop下的core-site.xml里面的配置必须一样，否则就会出现写不进去的情况更改之后，再重试，就成功了。...
2021-11-23 13:01:00
1854
原创 创建Zookeeper客户端及遇到的问题
创建Zookeeper客户端1.代码package com.itguigu.zk;import org.apache.zookeeper.data.Stat;import org.junit.Before;import org.apache.zookeeper.*;import org.junit.Test;import java.io.IOException;import java.util.List;public class zkClient { // 注意：逗号前后不能
2021-11-20 18:53:41
1011
原创 创建jpsall脚本出现bash: jps: command not found
bash: jps: command not found创建jpsall脚本,放到全局环境变量中我的/root/bin，可以通过echo $PATH查看vim jpsall#!/bin/bashfor host in hadoop102 hadoop103 hadoop104do echo =============== $host =============== ssh $host jpsdone赋予权限chmod u+x jpsall在Hadoo
2021-11-19 20:30:36
1947
原创 zookeeper一键启动配置及失败解决方案
关于zookeeper一键启动配置及失败解决方案一：zookeeper一键启动配置方法一：1.创建zk_start目录mkdir /export/server/zk_start1.创建zk目录mkdir /export/server/zk_start/zk2.编辑创建zk.shvim zk.sh3.写shell脚本#!/bin/bashcase $1 in"start"){ for i in node1 node2 node3 do echo ---------- z
2021-11-19 19:42:25
1589
原创 educoder Matplotlib图形配置——设置注释
Matplotlib图形配置——设置注释任务描述相关知识添加注释文字、坐标变换编程要求测试说明任务描述本关任务：掌握matplotlib设置注释的几种方法和文字坐标变换，并能够应用到图形中。相关知识有的时候单单使用图形无法完整清晰的表达我们的信息，matplotlib提供了文字、箭头等注释可以突出图形中重点信息。添加注释为了使我们的可视化图形让人更加容易理解，在一些情况下辅之以少量的文字提示和标签可以更恰当地表达信息。matplotlib可以通过plt.txt/ax.tx
2021-10-07 16:19:01
2904
原创 educutor Pands进阶分组聚合
Pands进阶分组聚合任务描述相关知识分组单列和多列分组Series系列分组通过数据类型或者字典分组获取单个分组对分组进行迭代聚合应用单个聚合函数应用多个聚合函数自定义函数传入agg()中对不同的列使用不同的聚合函数编程要求测试说明任务描述本关任务：使用Pandas加载drinks.csv文件中的数据，根据数据信息求每个大洲红酒消耗量的最大值与最小值的差以及啤酒消耗量的和。相关知识分组聚合的流程主要有三步：分割步骤将DataFrame按照指定
2021-10-07 16:13:56
556
原创 如何在window下修改hosts文件
如何在window下修改hosts文件修改hosts文件首先以管理员身份运行进入命令模式：在开始菜单下输入cmd–>找到命令提示符–>右键选择以管理员身份运行在命令模式下输入notepad drivers/etc/hosts 打开hosts文件，直接在文件末尾写入IP地址即对应主机名，中间以空格分离，保存即可。...
2021-05-22 17:27:30
627
原创 【Hadoop错误】无法正常启动，secondarynamenode无法启动
【Hadoop错误】无法正常启动，secondarynamenode无法启动hadoop启动正常，但是用jps查看进程发现只有secondarynamenode没有起来，如下图开始以为时端口占用用hdfs --daemon start secondarynamenode 手动开启，找到进程号，kill -9 xxx 杀死但是并没有报错后来在配置文件中更改了端口号（根据自己情况改）再试一试就好使了...
2021-05-20 23:14:34
5255
3
原创 【Hadoop错误】ssh免密登录时遇到 Permanently added ‘node2,192.168.88.96‘ (ECDSA) to the list of known hosts.
【Hadoop错误】ssh免密登录时遇到 Permanently added ‘node2,192.168.88.96’ (ECDSA) to the list of known hosts.重新更改ip地址之后就遇到了这个问题，在/etc/hosts下更改IP映射之后，免密登录就一直警告，也导致Hadoop跑不起来，网上试了很多方法无效，后来看到一个帖子在文件夹$HOME/.ssh/下创建一个文件config,vim $HOME/.ssh/config在新建文件夹下写入如下语句：LogLeve
2021-05-20 14:22:44
3241
1
原创 delete和truncate的区别
delete和truncate的区别delete:一条一条的删除，不清空auto_increment记录数truncate：直接将表删除，重新建表，auto_increment将设置为零，从新开始。（如果原表是自动增长，新表也可自动增长）如创建一个表设置自动增长create table stu(id int primary key auto_increment,name varchar(20) ,age int,score double);insert into stu(null,‘张
2021-04-15 23:47:53
230
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人