Peppa·Pig
码龄11年
关注
提问 私信
  • 博客:105,490
    社区:1
    105,491
    总访问量
  • 33
    原创
  • 2,125,216
    排名
  • 5
    粉丝
  • 0
    铁粉

个人简介:从此专心打码,哪怕风吹雨打。

IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:浙江省
  • 加入CSDN时间: 2013-09-03
查看详细资料
个人成就
  • 获得24次点赞
  • 内容获得15次评论
  • 获得50次收藏
  • 代码片获得237次分享
创作历程
  • 24篇
    2020年
  • 4篇
    2019年
  • 1篇
    2018年
  • 1篇
    2017年
  • 5篇
    2016年
成就勋章
TA的专栏
  • ELK
    1篇
  • Linux
    19篇
  • #Linux学习
    18篇
  • #HDFS
    1篇
  • 大数据运维
    4篇
  • #Yarn
    1篇
  • #Kerberos
    1篇
  • Flink
  • java
    2篇
  • hive
    1篇
  • spark
    2篇
  • scala
    1篇
  • hadoop
  • hbase
    2篇
  • web
    1篇
  • maven
    2篇
兴趣领域 设置
  • 大数据
    hadoophivespark数据仓库etl
创作活动更多

2024 博客之星年度评选报名已开启

博主的专属年度盛宴,一年仅有一次!MAC mini、大疆无人机、华为手表等精美奖品等你来拿!

去参加
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

Filebeat 传输数据到Kafka无法连接

最近开始研究ELK,准备做个日志系统,数据采集使用Filebeat组件,输出源配好kafka后,启动filebeat报如下日志:2020-12-31T13:54:53.203+0800 INFO kafka/log.go:53 client/metadata fetching metadata for [flink-log-test] from broker 172.30.79.135:66672020-12-31T13:54:53.204+0800 INFO kafka/
原创
发布博客 2020.12.31 ·
2918 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

Shell编程--自定义函数

基本语法:function funname[()]{ Action; [return int;]}调用直接写函数名: funname [值]实例:计算输入两个数值的和sum#!/bin/bashfunction getSum(){ SUM=$[$n1+$n2] echo "SUM=$SUM"}read -p "请输入第一个数n1:" n1read -p "请输入第二个数n2:" n2#调用函数getSumgetSum $n1 $n2...
原创
发布博客 2020.07.31 ·
316 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Shell编程--常用系统函数

1)basename 基本语法功能:返回路径中最后一个'/'后的部分内容,常用于获取文件名。basename NAME [SUFFIX]如果指定SUFFIX参数,且它和字符串中所有字符都不相同,但和字符串的后缀相同,则除去指定后缀。可用的参数:-z :使用NUL而不是换行符来分隔输出-s,--suffix=SUFFIX : 效果和指定SUFFIX参数相同-a : 支持多个参数并将每个参数视为一个NAME,如:[root@study ~]# basename...
原创
发布博客 2020.07.31 ·
387 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Shell编程--读取控制台输入

基本语法:read(选项)(参数)选项:-p -- 指定读取值时的提示符。-t -- 指定读取值时的等待时间,如果没有在指定时间内输入,则自动跳过。案例:#!/bin/bash#案例1:读取控制台输入的数值read -p "请输入一个数值,以回车结束:" num1echo "你输入的值为:$num1"#案例2:在10秒内,读取控制台输入的数值read -t 10 -p "请在10秒内输入一个数值,以回车结束:" num2echo "你输入的值为:$num2"执行脚
原创
发布博客 2020.07.30 ·
667 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

Shell编程--while循环

基本语法:while [ 条件判断 ]do 程序done案例:输入一个值n,计算1到n的和。#!/bin/bashn=$1i=1SUM=0while [ $i -le $n ]do SUM=$[$i+$SUM] i=$[$i+1]doneecho $SUM
原创
发布博客 2020.07.30 ·
244 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

Shell编程--for循环

基本语法1for 变量 in 值1 值2 值3 do 程序 done基本语法2for (( 初始值;循环控制条件;变量变化))do 程序done
原创
发布博客 2020.07.30 ·
123 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Shell编程--位置参数变量

当我们在执行一个shell脚本时,如果希望获取到命令行的参数信息,就可以使用到位置参数变量。比如:./myshell.sh 1 2 ,这个就是执行shell的命令行,其中“1” 、“2” 就是脚本执行的输入参数,可以在shell脚本中获取到。基本语法$n -- 功能描述:n 为数字,$n 代表命令本身,$1-$9代表第一个到第九个参数,十以上的参数需要用大括号把位置值包含(如:${10} )$* -- 功能描述:这个变量代表命令行中所有的参数(把所有的参数当做一个整体)$@ -- 功能.
原创
发布博客 2020.07.29 ·
2293 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

Shell编程--流程控制case

基本语法case $变量名 in"值1”) 如果变量的值等于值1,则执行程序1 ;;"值2") 如果变量的值等于值2,则执行程序2 ;;......(省略其他分支)*) 如果变量的值都不是以上的值,则执行此程序 ;;esac...
原创
发布博客 2020.07.29 ·
143 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Shell编程--流程控制if

基本语法:if [ 条件判断 ] ; then 程序fi或者if [ 条件判断 ]then 程序 elif [ 条件判断 ] ; then 程序fi注意:[ 条件判断 ],中括号和条件判断式之间必须有空格 。
原创
发布博客 2020.07.29 ·
105 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Shell编程--条件判断

判断语句基本语法[ condition ] (注意condition前后必须有空格)非空返回ture,可使用$?验证(0为ture,>1为false)。1)两个整数的比较= :字符串比较-lt : 小于-le :小于等于-eq :等于-gt :大于-ge :大于等于-ne :不等于2)按照文件权限进行判断-r :有读的权限-w :有写的权限-x :有执行的权限3)按照文件类型进行判断-f :文件存在且是一个常规文件-e :文件存在
原创
发布博客 2020.07.28 ·
128 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Shell编程--预定义变量

基本语法:1. $$ -- 当前进程的进程号(PID)2. $! -- 后台运行的最后一个进程的进程号(PID)3. $? -- 最后一个执行的命令的返回状态。如果这个变量的值为0,则说明上一个命令正确执行;如果这个变量的值非0(具体是哪个数,由命令自己决定),则说明上一个命令没有正确执行。...
原创
发布博客 2020.07.28 ·
209 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Shell编程--运算符

基本语法:1)“$((运算式))” 或 “$[运算式]”2)expr m+ n 注意expr 运算符间要有空格。3)expr m - n4)expr \*,/,% 乘,除,取余实例:计算(1+2)* 3的值1)“$((运算式))”RESULT=$(((1+2)*3))echo "result:$RESULT"2)“$[运算式]”RESULT=$[(1+2)*3]3)使用expr$TEMP= `expr 1 + 2`RESULT=`...
原创
发布博客 2020.07.28 ·
101 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

HDFS启动发现DataNode启动失败报错:java.io.IOException: Incompatible clusterIDs

报错详情:HDFS启动后有个别DataNode很快就挂掉,经查看日志文件,有如下报错:2020-07-15 09:55:09,406 INFO common.Storage (Storage.java:tryLock(776)) - Lock on /opt/hadoop/hadoop/hdfs/data/in_use.lock acquired by nodename 20657@node42020-07-15 09:55:09,408 WARN common.Storage (DataSt
原创
发布博客 2020.07.15 ·
964 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

spark提交作业到yarn队列报错:hadoop.yarn.exceptions.YarnException

报错详情:Exception in thread "main" org.apache.hadoop.yarn.exceptions.YarnException: org.apache.hadoop.security.AccessControlException: User amrcloud does not have permission to submit application_1585639257391_0011 to queue default at org.apache.hadoop.ya
原创
发布博客 2020.07.08 ·
3502 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

Yarn timeline service v2.0启动成功但查询日志报错:AbstractChannel$AnnotatedConnectException: Connection refused

报错详情:yarn timeline service 2.0服务启动后查看后台日志有如下报错:Wed May 06 16:47:10 CST 2020, RpcRetryingCaller{globalStartTime=1588754824588, pause=1000, maxAttempts=4}, java.net.ConnectException: Call to cjhdpnode21.zpepc.com.cn/21.48.35.21:17020 failed on connection
原创
发布博客 2020.07.08 ·
6508 阅读 ·
2 点赞 ·
7 评论 ·
8 收藏

Kerberos主KDC数据库同步到从KDC报错:Key table entry not found while getting initial credentials

***报错详情:***Kerberos开启高可用模式,主KDC数据库同步到从KDC时执行命令:`kprop -f /var/kerberos/krb5kdc/slave_datatrans slavehost`报错:```Error:kprop: Key table entry not found while getting initial credentials?```***解决办法:***1.查看文件/etc/krb5.conf配置是否修改正确(如KDC服务器端口不为默认的88,则需要在
原创
发布博客 2020.07.08 ·
3744 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Shell编程--多行注释

:<<!文本!
原创
发布博客 2020.07.05 ·
381 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

Shell编程--变量

Linux Shell变量分为:系统变量和用户自定义变量。其中,系统变量:如PATH,USER等系统预定义变量。可以用指令:“set"查看。基本语法:1.定义变量: 变量名=值2.撤销变量: unset 变量名3.什么是静态变量: readonly 变量名,注意:不能unset定义变量名规则:1.不能以数字开头2.等号两侧不能有空格3.变量名称一般为大写将命令的返回值赋给变量:1. A=`ls -la` 反引号,运行里面的命令,并把结果返回给变量A2. A=$
原创
发布博客 2020.07.05 ·
109 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

crontab任务调度

基本语法: crontab [选项]常用选项: -e 编辑crontab定时任务 -l 查询crontab任务 -r 删除当前用户所有的crontab任务参数细节说明: 五个占位符: 第一个“*”: 一个小时当中的第几分钟 (范围:0-59) 第二个“*”: 一天当中的第几小时 (范围:0-23) 第三个“*”: 一个月当中的第几天 ...
原创
发布博客 2020.06.22 ·
132 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

history指令小技巧

! + 历史指令编号 -- 重新执行该编号对应的历史指令。如:“!178”
原创
发布博客 2020.06.14 ·
248 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏
加载更多