- 博客(35)
- 收藏
- 关注
RSS订阅原创 Filebeat 传输数据到Kafka无法连接
最近开始研究ELK，准备做个日志系统，数据采集使用Filebeat组件，输出源配好kafka后，启动filebeat报如下日志：2020-12-31T13:54:53.203+0800 INFO kafka/log.go:53 client/metadata fetching metadata for [flink-log-test] from broker 172.30.79.135:66672020-12-31T13:54:53.204+0800 INFO kafka/
2020-12-31 14:21:39
2816
原创 Shell编程--自定义函数
基本语法：function funname[()]{ Action; [return int;]}调用直接写函数名: funname [值]实例：计算输入两个数值的和sum#!/bin/bashfunction getSum(){ SUM=$[$n1+$n2] echo "SUM=$SUM"}read -p "请输入第一个数n1:" n1read -p "请输入第二个数n2:" n2#调用函数getSumgetSum $n1 $n2...
2020-07-31 19:59:54
298
原创 Shell编程--常用系统函数
1）basename 基本语法功能：返回路径中最后一个'/'后的部分内容，常用于获取文件名。basename NAME [SUFFIX]如果指定SUFFIX参数，且它和字符串中所有字符都不相同，但和字符串的后缀相同，则除去指定后缀。可用的参数：-z ：使用NUL而不是换行符来分隔输出-s,--suffix=SUFFIX ： 效果和指定SUFFIX参数相同-a ： 支持多个参数并将每个参数视为一个NAME，如：[root@study ~]# basename...
2020-07-31 19:35:52
365
原创 Shell编程--读取控制台输入
基本语法：read(选项)(参数)选项：-p -- 指定读取值时的提示符。-t -- 指定读取值时的等待时间，如果没有在指定时间内输入，则自动跳过。案例:#!/bin/bash#案例1：读取控制台输入的数值read -p "请输入一个数值，以回车结束：" num1echo "你输入的值为:$num1"#案例2：在10秒内，读取控制台输入的数值read -t 10 -p "请在10秒内输入一个数值，以回车结束：" num2echo "你输入的值为:$num2"执行脚
2020-07-30 22:28:49
631
原创 Shell编程--while循环
基本语法：while [ 条件判断 ]do 程序done案例：输入一个值n，计算1到n的和。#!/bin/bashn=$1i=1SUM=0while [ $i -le $n ]do SUM=$[$i+$SUM] i=$[$i+1]doneecho $SUM
2020-07-30 22:10:31
228
原创 Shell编程--for循环
基本语法1for 变量 in 值1 值2 值3 do 程序 done基本语法2for (( 初始值;循环控制条件;变量变化))do 程序done
2020-07-30 21:55:09
105
原创 Shell编程--位置参数变量
当我们在执行一个shell脚本时，如果希望获取到命令行的参数信息，就可以使用到位置参数变量。比如：./myshell.sh 1 2 ，这个就是执行shell的命令行，其中“1” 、“2” 就是脚本执行的输入参数，可以在shell脚本中获取到。基本语法$n -- 功能描述：n 为数字，$n 代表命令本身，$1-$9代表第一个到第九个参数，十以上的参数需要用大括号把位置值包含（如：${10} ）$* -- 功能描述：这个变量代表命令行中所有的参数（把所有的参数当做一个整体）$@ -- 功能.
2020-07-29 21:43:04
2168
原创 Shell编程--流程控制case
基本语法case $变量名 in"值1”） 如果变量的值等于值1，则执行程序1 ;;"值2") 如果变量的值等于值2，则执行程序2 ;;......(省略其他分支)*) 如果变量的值都不是以上的值，则执行此程序 ;;esac...
2020-07-29 21:08:57
128
原创 Shell编程--流程控制if
基本语法：if [ 条件判断 ] ; then 程序fi或者if [ 条件判断 ]then 程序 elif [ 条件判断 ] ; then 程序fi注意：[ 条件判断 ]，中括号和条件判断式之间必须有空格 。
2020-07-29 21:04:02
90
原创 Shell编程--条件判断
判断语句基本语法[ condition ] (注意condition前后必须有空格）非空返回ture，可使用$?验证（0为ture，>1为false）。1）两个整数的比较= ：字符串比较-lt : 小于-le ：小于等于-eq ：等于-gt ：大于-ge ：大于等于-ne ：不等于2）按照文件权限进行判断-r ：有读的权限-w ：有写的权限-x ：有执行的权限3）按照文件类型进行判断-f ：文件存在且是一个常规文件-e ：文件存在
2020-07-28 22:47:26
113
原创 Shell编程--预定义变量
基本语法：1. $$ -- 当前进程的进程号（PID）2. $! -- 后台运行的最后一个进程的进程号（PID）3. $? -- 最后一个执行的命令的返回状态。如果这个变量的值为0，则说明上一个命令正确执行；如果这个变量的值非0（具体是哪个数，由命令自己决定），则说明上一个命令没有正确执行。...
2020-07-28 22:32:01
186
原创 Shell编程--运算符
基本语法：1）“$((运算式))” 或 “$[运算式]”2）expr m+ n 注意expr 运算符间要有空格。3）expr m - n4）expr \*,/,% 乘，除，取余实例：计算（1+2）* 3的值1）“$((运算式))”RESULT=$(((1+2)*3))echo "result:$RESULT"2）“$[运算式]”RESULT=$[(1+2)*3]3）使用expr$TEMP= `expr 1 + 2`RESULT=`...
2020-07-28 22:25:47
86
原创 HDFS启动发现DataNode启动失败报错:java.io.IOException: Incompatible clusterIDs
报错详情：HDFS启动后有个别DataNode很快就挂掉，经查看日志文件，有如下报错：2020-07-15 09:55:09,406 INFO common.Storage (Storage.java:tryLock(776)) - Lock on /opt/hadoop/hadoop/hdfs/data/in_use.lock acquired by nodename 20657@node42020-07-15 09:55:09,408 WARN common.Storage (DataSt
2020-07-15 15:26:53
935
原创 spark提交作业到yarn队列报错：hadoop.yarn.exceptions.YarnException
报错详情：Exception in thread "main" org.apache.hadoop.yarn.exceptions.YarnException: org.apache.hadoop.security.AccessControlException: User amrcloud does not have permission to submit application_1585639257391_0011 to queue default at org.apache.hadoop.ya
2020-07-08 15:46:30
3328
原创 Yarn timeline service v2.0启动成功但查询日志报错：AbstractChannel$AnnotatedConnectException: Connection refused
报错详情：yarn timeline service 2.0服务启动后查看后台日志有如下报错：Wed May 06 16:47:10 CST 2020, RpcRetryingCaller{globalStartTime=1588754824588, pause=1000, maxAttempts=4}, java.net.ConnectException: Call to cjhdpnode21.zpepc.com.cn/21.48.35.21:17020 failed on connection
2020-07-08 15:43:55
6090
7
原创 Kerberos主KDC数据库同步到从KDC报错：Key table entry not found while getting initial credentials
***报错详情：***Kerberos开启高可用模式，主KDC数据库同步到从KDC时执行命令：`kprop -f /var/kerberos/krb5kdc/slave_datatrans slavehost`报错：```Error：kprop: Key table entry not found while getting initial credentials？```***解决办法：***1.查看文件/etc/krb5.conf配置是否修改正确（如KDC服务器端口不为默认的88，则需要在
2020-07-08 15:38:27
3601
原创 Shell编程--变量
Linux Shell变量分为：系统变量和用户自定义变量。其中，系统变量：如PATH,USER等系统预定义变量。可以用指令：“set"查看。基本语法：1.定义变量： 变量名=值2.撤销变量： unset 变量名3.什么是静态变量： readonly 变量名，注意：不能unset定义变量名规则：1.不能以数字开头2.等号两侧不能有空格3.变量名称一般为大写将命令的返回值赋给变量：1. A=`ls -la` 反引号，运行里面的命令，并把结果返回给变量A2. A=$
2020-07-05 15:20:36
98
原创 crontab任务调度
基本语法： crontab [选项]常用选项： -e 编辑crontab定时任务 -l 查询crontab任务 -r 删除当前用户所有的crontab任务参数细节说明： 五个占位符： 第一个“*”： 一个小时当中的第几分钟 （范围：0-59） 第二个“*”： 一天当中的第几小时 （范围：0-23） 第三个“*”： 一个月当中的第几天 ...
2020-06-22 22:22:03
118
原创 vi/vim 几个小技巧
:r !命令 -- 导入命令执行结果到光标所在处 （如：“:r !date”）连续注释行：:n1,n2s/^/#/g:n1,n2s/^#//g:n1,n2s/^/\/\/g替换：:ab mymail minicoder@csdn.net定义快捷键 ：:map 快捷键 触发命令如： :map ^P I#<ESC> （快捷键键：ctrl+v+p，在行首插入字符“#”） :map ^B 0x （快捷键键：ctrl+v+b，删...
2020-06-10 23:16:53
134
原创 vi编辑器几个快捷键
插入命令：a: 在光标所在字符后插入A : 在光标所在行行尾后插入i ：在光标所在字符前插入I : 在光标所在行行首插入o : 在光标下插入新行O：在光标上插入新行定位命令：:set nu -- 设置行号:set nonu -- 取消行号gg -- 光标移至第一行G -- 光标移至最后一行nG -- 光标移至第n行首部（如"10G"）:n --光标移至第n行首部（如"10G"）$ -- 光标移至行尾0 -- 光标移至行首删除命令...
2020-06-10 22:42:49
320
原创 Linux（CentOS7） 几个重要的文件夹（目录）作用
CentOS 7.x已经将/sbin,/bin,/lib等目录移动到/usr下。第一级目录：/bin(/usr/bin) 放置的是在单人维护模式下还能够被使用的命令。即在/bin目录下的命令可以被root与其他一般账号所使用，如：cat、chmod、date、mv、cp等。 /etc 系统主要的配置文件几乎都放置在这个目录内。 /lib(/usr/lib) 放置的是在启动时会用到的函数库，以及在/bin或者/sbin下面的命令会调用的函数库。 /mnt 挂载设备一
2020-05-31 22:16:33
2709
原创 Kerberos客户端安装配置
前提：操作系统源已经配置好。命令行执行命令：yum install -y krb5-lib krb5-workstation配置文件覆盖：拷贝KDC服务器下Kerberos配置文件/etc/krb5.conf到客户端机器同路径下。...
2020-01-10 16:03:49
1944
原创 Hbase 双master启动失败
active master日志报错：.activeMasterManager] master.MasterFileSystem: Log folder hdfs://cluster02/apps/hbase/data/WALs/bg137,16020,1548455716232-splitting doesn't belong to a known region server, splitting...
2019-10-14 15:15:23
595
原创 Hive 无法进入命令行，卡住不动
今天想通过执行“hive”命令进入命令行查数据，发现一只卡住不动，如下：查看日志也没发现有什么错误信息，于是退出命令，通过DEBUG模式重新进入命令行：hive -hiveconf hive.root.logger=debug,console发现是hdfs NameNode连接异常，然后巴拉巴拉一顿处理（重启hdfs →_→），解决。每个人情况都会有所不同，根据debug信息...
2019-09-10 16:37:40
9242
2
原创 HDP3.1中spark2.3无法读取Hive3.0数据
通过Ambari2.7安装好HDP3.1后，发现在spark-sql中无法读到hive命令行创建的数据库和表。后来查了网上资料，发现hive 3.0之后默认开启ACID功能，而且新建的表默认是ACID表。而spark目前还不支持hive的ACID功能，因此无法读取ACID表的数据。然后修改了hive-site.xml配置文件里的相关配置项：hive.strict.managed.ta...
2019-08-20 15:54:29
3577
1
原创 WIN10 安装 Scala
提示：用默认路径安装是在C:\Program Files (x86)\scala下的，但我装好之后配置完环境变量，一直没法在命令行直接打scala命令调用。 原因应该是路径中有空格存在，所以安装时最好自定义合理路径。我的安装路径是：C:\Work\scala步骤：1.下载Windows下scala安装包：https://www.scala-lang.org,根据自己需要的版本下载即可...
2019-05-03 17:27:40
378
原创 解决Maven 配置pom依赖后某个jar包无法下载问题
以sparkspark-redis-0.3.2.jar包为例：到maven仓库中下载sparkspark-redis-0.3.2.jar和spark-redis-0.3.2.pom两个文件，放到本地仓库对应文件夹中。我平时都是在 http://mvnrepository.com 下载的jar包和他们对应的pom文件。...
2018-09-27 14:39:28
6332
原创 maven编译错误:Failed to execute goal org.apache.maven.plugins:maven-clean-plugin:2.5:clean
如果此时无法删除项目下的target文件夹，则把占用文件夹的进程关掉，然后删除该文件，即可进行maven的clean操作。
2017-08-25 15:00:49
10459
4
原创 hbase shell 输入无法使用退格键删除解决办法
1.使用Ctrl + Backspace或Shift + Backspace组合键删除2.（SecureCRT）选项--会话选项--仿真--终端--选择Linux选项--会话选项--映射键--勾上：backspace发送delete和delete发送backspace...
2016-07-19 14:21:01
8203
1
原创 hive 建表报错：ParseException - cannot recognize input near 'end' 'string'
建表语句为：CREATE EXTERNAL TABLE moveProjects (cid string, end string, category string)STORED BY 'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler'TBLPROPERTIES ("dynamodb.table.name" = "Projects
2016-05-13 16:02:32
34010
原创 eclipse打开报错：Java was started but returned exit code=13
eclipse打开报错：Java was started but returned exit code=13。背景：64位jdk、64位eclipse。看了网上其他网友的解决方法，多数是说jdk版本和eclipse版本不一样，要统一为32位或者64位。but!我反复确认一致性之后还是没有解决。如果有网友也遇到和我一样的问题，不妨参考下：= =看看你的jdk是不是安装在了C盘的C
2016-04-12 09:44:37
1543
转载 (转)The import javax.servlet.http.HttpServletRequest cannot be resolved
Error：The import javax.servlet cannot be resolvedThe import javax.servlet.http.HttpServletRequest cannot be resolvedDescription:我们经常会把别人的项目copy到自己这里进行二次开发或者参考，有的时候会发生上面的错误，?即ec
2016-03-23 17:35:05
372
翻译 Java数组初始化
Java 数组初始化的两种方法： 静态初始化： 程序员在初始化数组时为数组每个元素赋值； 动态初始化： 数组初始化时，程序员只指定数组的长度，由系统为每个元素赋初值。
2016-03-21 11:05:01
252
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人