Linux
Linux
神芷迦蓝寺
神芷迦蓝寺,江楼月美人
展开
-
kafka常见异常问题总结:KeepErrorCode = NoNode for...
主要异常kafka是我们常见的数据订阅中间件系统,但清除累计的日志文件也是件技术活笔者在清除日志的时候,不小心把zookeeper log 目录下version-2里的文件删除了,就引发了一系列惨案:kafka数据报错,无法再产生数据,报错详情:kafka报错:Error Path:/admin Error:KeeperErrorCode = NoNode for /brokersError Path:/admin Error:KeeperErrorCode = NoNode for原创 2021-04-01 10:40:26 · 9615 阅读 · 2 评论 -
Linux下安装软件报no acceptable C compiler found in $PATH问题解决
该问题是Linux的gcc环境未搭建好,只需要配置搭建好gcc如果是可连网状态,可以直接使用yum下载yum install gcc如果是离线服务器,则需要拷贝离线安装包到服务器,然后使用rpm命令下载安装这些gcc相关包一般在linux的映射iso文件里都存在的,解压iso,打开package文件夹下选择下面这些rpm包,然后打包上传至离线服务器即可如有需要可百度云下载链接:https://pan.baidu.com/s/1RTCGR9CTlkFNfEdIAx_bOg 提..原创 2021-03-16 15:41:35 · 4040 阅读 · 1 评论 -
Linux的文本无法按行输出时如何做?
我们在Linux系统中进行shell开发时,有时候会因为文本源不同或语言不同的产物等原因造成文本读取存在一定的bug比如文本解析出是乱码,这个时候要改字符集,eg:把gbk改成utf比如windows的文本有错行,串字等,要把CRLF 改为UNIX这里需要讲的是在逐行读取文本时,我们常用for line in `cat xxx.log`;do echo ${line}done 但是偶尔会出问题,今天我在做shell 调用 python运行产出的日志文件时,文件如下:['原创 2021-03-16 15:06:39 · 159 阅读 · 0 评论 -
Linux服务器时钟同步与外网IP
能搜到这里的,也都是知道什么是时钟同步的,直接说吧运行 /sbin/ntpdate -u 17.253.68.253其中IP是外网同步专用IP,至于办公网,收费网,监控网等各公司的内网的话可以自行映射专用IP运行情况如下,可以看到我当前的服务器与真正的时间差了0.025750秒,还是很准时的[root@node01 ~]# /sbin/ntpdate -u 17.253.68.25320 Jan 10:57:29 ntpdate[18899]: adjust time server 1.原创 2021-01-20 11:04:19 · 458 阅读 · 0 评论 -
Kafka实战配置操作手册shell版
神芷迦蓝寺,江楼月美人原创 2019-12-25 16:10:57 · 891 阅读 · 0 评论 -
Linux解决第一次ssh连接服务器需要输yes或者scp报host key verification failed
Linux第一次远程连接服务器需要建立共识,所以ssh会让输yes,scp会报错host key verification failed尤其是需要批量操作多台服务器,仅用sshpass或者expect并不能完全解决,完全自动化,还是需要手动但是只要连接过一次之后,后续便不会再有此问题那么我们如何快乐度过这一关,开开心心的远程连接呢这个时候一个参数便爆出了,他就是StrictHostKeyChecking只需要我们 ssh -oStrictHostKeyChecking=no 设置好这..原创 2020-08-05 15:40:11 · 4160 阅读 · 0 评论 -
Linux和Windows下的分页压缩:拆分大文件的niubilitier
讲此之前,我们先了解一下压缩的特点对结构化,半结构化数据压缩有效性高,对图片,视频这些非结构化致密数据压缩有效性低,即源文件100M,压缩后估计也就是99M 压缩有上限值,比如一个100M的文件第一次压缩为50M,再压缩为40M,再再压缩36M,再再再...再压缩最多只能压到35M,因为文件的本身最密性就是35M,参考一节地铁车厢最多只能装100人,便再也压不下去 压缩格式有zip,gzip,tar.gz,7z,rar等等,每个格式都有其特性,windows常见的是zip和rar,Linux常见的是原创 2020-06-22 15:57:31 · 747 阅读 · 0 评论 -
如何通过一个url链接下载文件到指定位置
假如一个url是http://xx.xx.xx.xx:0000/test/?path=/test/test/test.txtLinux系统可以使用curl命令curl -O url因此也可以在其他语言比如python,java里调用linux系统运行curl浏览器可直接放在搜索框,浏览器自带下载链接会下载 python里可以用requests包import requestsimport oslocat = "/test/test/test.txt"url = "http:/原创 2020-05-26 11:38:07 · 2565 阅读 · 0 评论 -
Linux系统如何查询ES暨url条件查询
使用curl 命令curl -X POST http://xx.xx.xx.xx:xxxx/xxxxx/xxxx/xx -d{ "query": { "bool": { "must": [ { "xxx": { "xxx.keyword": "xxxx" } }, { "range": { "transtime.ke...原创 2020-05-25 16:57:29 · 857 阅读 · 0 评论 -
不扯废话,linux快速设置静态IP
知道大家时间都比较忙,直接码上设置只需要cd /etc/sysconfig/network-scripts/ , 编辑ifcfg-打头的文件,其中ifcfg-lo不要管,他只是本地回环,另外的有几个网络端口就要几个ifcfg文件,选择要更改的网络端口,比如我这里是ifcfg-eno2vimifcfg-eno2把下面几项粘贴进去修改,其他诸如IPV6这些可直接删除,然后保存重置网络service network restart即可TYPE=EthernetNAME=test01UU...原创 2020-05-25 15:00:03 · 262 阅读 · 1 评论 -
linux神级命令:免交互expect的安装简介与使用
expect与sshpass拥有相同的功能,即在运行ssh,scp等命令时可直接在文本中输入密码,免交互,详情见之前文档sshpass,但expect比sshpass更好的是,expect可以根据搜索的内容填入你想填的内容,不仅仅局限于输入密码,还可以输入yes/no,输入命令等等,可以说expect的功能性是大于sshpass的下载安装在线的话可直接 yum install -y expect离线安装的话需要先下载离线包再安装# 离线下载安装包yumdownloader expect.原创 2020-05-20 18:16:57 · 931 阅读 · 0 评论 -
Linux批量操作服务器的方式
该方式需保证各服务器之间网络互通需要用到的命令有ssh,scp,有的如果想免密登录需要配置网络公钥key或者用sshpass实现,见我另一篇博客:是的,我总是喜欢时刻推销自己的博客,啦啦啦下面只需要把你想要操控的各个服务器IP放进列表循环里,如果服务器数量很多,可以写并发进程来执行:我又来推销了!!!,然后写shell脚本即可ssh 是远程运行命令:比如我需要所有的服务器都执行安装my...原创 2020-04-20 16:13:54 · 574 阅读 · 0 评论 -
linux系统离线安装mysql教程及相关报错解答(含安装包)
资源包下载:链接:https://pan.baidu.com/s/1eyWikw4aV2-WhbvwN4xZDg 提取码:snq9 如安装包失效可评论重发1.把压缩包上传到linux服务器并解压2.使用rpm命令安装mysql服务rpm -ivh MySQL-server-5.5.55-1.linux2.6.x86_64.rpm## 正常则直接去第三步骤,若提示缺少依赖,则用...原创 2019-07-05 16:50:51 · 1061 阅读 · 2 评论 -
linux系统实现DataX任务进程多并发以及自定义并发数
下面是我之前用datax任务多并发数据上云时写的shell脚本(已进行精简),注释比较详尽运行方式 ./ty_commit_task_to.sh 10 其中10代表并发任务量,可根据自身服务器的CPU等配置进行合理输入数值大家有需要进行其他并发进程时也可采用这个模板#!/bin/bash############################################...原创 2019-12-16 21:11:42 · 4080 阅读 · 0 评论 -
批量处理linux集群系统--免交互式sshpass的安装简介与使用
我们在Linux集群系统使用中,偶尔会碰到需要批量处理每个系统的情况,比如ssh的登陆运行命令,或者scp的文件复制,这些只需要在shell脚本批量运行各个IP即可,但ssh,scp需要交互式输密码,也就是说你仍然需要一个个的输密码,过于机械与麻烦为了解决这种情况,常用的有三种方法各个IP配置key文件,达到网络共享服务器之间免密操作 用sshpass命令,免交互式输密码 用expec...原创 2019-12-04 15:50:54 · 806 阅读 · 0 评论 -
Linux系统如何更改主机名,即 [root@xxxx] 改成 [root@localhost]
linux系统主机名即显示的名字,常用于服务器映射,应用IP关联等,如果我们在建立虚拟机或者服务器时未明确指定,会自动生成一串我们不想要的,或者我们想换一个主机名时,这个时候我们就需要更改主机名操作一 临时更改使用hostname命令[root@xxxx~]# hostname yourname二 永久生效1.修改linux主机的配置文件/etc/sysconfig/n...原创 2019-09-05 16:19:04 · 20492 阅读 · 1 评论 -
linux系统调度oracle数据库生成自动建表脚本
数据时代,在linux系统上调度oracle数据库来一一生成建表脚本放在其他平台或数据库使用是一件很常有的事情,本文用脚本来实现安装Oracle数据库并测试运行 获取oracle数据库相关账号,密码,表清单及相关权限 为了在root账号也能使用需在脚本中把oracle账户的环境变量体现 通过oracle数据库钟all_tables,all_tab_columns等几个视图获取每张表的co...原创 2019-07-04 14:21:47 · 709 阅读 · 0 评论 -
linux系统需要谨慎操作的高危命令
写一下数梦工场运维工作的三大纪律八项注意,我觉得这个写的很棒三大纪律未经授权别操作 变更不要在白天 预期有异赶紧停八项注意安全规范记心头 数据安全大过天 应急预案必须有 分析复盘勤提高 出现故障先通报 技术经理快到场 恢复业务是首要 客户满意最优先Linux风险高危命令 命令 风险描述 风险等级 rm -rf rm -rf为递归强制删除,...原创 2019-06-24 16:47:41 · 5161 阅读 · 0 评论 -
linux查看更改系统时区以及设置系统时间
一般我们装完linux系统后,由于忽视或者其他操作未选择北京时区,那么默认时区的时间将与我们差距很大背景介绍:GMT(Greenwich Mean Time,格林威治标准时间):是指位于英国伦敦郊区的皇家格林尼治天文台的标准时间,因为本初子午线被定义在通过那里的经线。UTC(Universal Time/TempsCordonné 世界标准时间)CST(中国标准时间(ChinaSta...原创 2019-06-19 15:19:34 · 1190 阅读 · 0 评论 -
linux系统的重定向输出和输入的区别与应用
linux系统重定向输出和输入在实际应用里非常宽泛,比如日志输出,结果输出,应用内命令输入等与shell脚本的结合可以实现很多需要的场景1.重定向输出>和>>的区别相同的是如果没有文件,两个命令都会产生一个新文件不同的>是覆盖,>>是追加例子见图即>会先清除原文的内容再把内容写进去,而>>会把内容追加到原文的末尾,故应...原创 2019-05-29 17:36:51 · 1645 阅读 · 0 评论 -
linux系统web界面的知识讲解和实际应用
linux系统由于其强大的权限管理和多租户等特点,在业务层面上使用率远超windows,但是它也有不好的地方,就是图像化和桌面做的没有windows系统好,大屏展示效果不够强大,比如一些日志后台人员可以很方便的cat/more等来查看,但是客户和领导不一定习惯,所以这时候就需要把linux里面的东西放到web界面去来进行统一管控由于是局域静态网络,所以我们使用http协议来做,但如果是大型的...原创 2019-05-29 17:02:03 · 968 阅读 · 0 评论 -
linux系统中执行shell脚本的三种方式
shell脚本的执行方式有三种,假如我们的脚本名称是test.sh①./test.sh 或者 path/test.sh 该运行方式我们在日常工作时经常测试使用,有两点需要注意,第一该脚本当前用户必须有可执行权限,即有x权限,如无,需要chmod +x test.sh;第二如果在其他脚本中调用该脚本一定要写绝对路径(后者)来运行,如crontab表达式里②ba...原创 2019-05-24 16:53:54 · 1742 阅读 · 0 评论 -
linux和shell脚本常用命令技巧
date :调配时间,可以用date命令完成很多需求,比如日志文件夹,比如求前几天等等,其他常用方法百度date "+%Y%m%d" #输出年月日date -d last-day +%Y%m%d #输出当然日期的前一天###############################根据时间变量求取该变量的上一天cur_sec=`date -d $curdate +%s`after...原创 2018-12-14 15:18:37 · 457 阅读 · 0 评论 -
linux带回收站的删除命令delete,以备误删找回
在linux系统中,删除文件或者目录时,大部分同学都是rm -rf *,这样通配很容易造成误删,或者该删除某个应用下的bin目录,结果删成了/bin,路径不一致也会造成误删,而linux系统是没有回收站的,删了就是删了,无法找回。所以删除文件操作我们应该养成加参数 -i的习惯,可一一确认是否删除,尤其是在批量删除时尤为重要,还有尽量用绝对路径。当然即使我们按上面的操作来做,但常在河边走,哪有...原创 2018-09-11 16:57:34 · 3496 阅读 · 0 评论 -
linux如何mount挂载磁盘并设置开机自动mount
知道大家时间都很宝贵,我直接把流程命令写下来,大家配置完即可,想研究原理的话就往下读fdisk -l # 查看可挂载的磁盘df -h # 查看已经挂载的磁盘mkfs.ext4 /dev/vdb # 初始化磁盘mount /dev/vdb /u01 ...原创 2018-07-31 11:25:15 · 103580 阅读 · 22 评论 -
linux下安装oracle产品报无前置环境的错
一般我们静默安装oracle产品如(oracle数据库,ogg,mysql等)时未配置虚拟内存swap或者一些yum包都会报错Failed <<<Some requirements check failed . You must fulfill these requirements before continuing with the installation....原创 2018-07-20 17:41:51 · 849 阅读 · 0 评论 -
基于linux系统的FTP搭建配置与测试
FTP 是File Transfer Protocol(文件传输协议)的英文简称,而中文简称为“文传协议”。用于Internet上的控制文件的双向传输。同时,它也是一个应用程序(Application)。基于不同的操作系统有不同的FTP应用程序,而所有这些应用程序都遵守同一种协议以传输文件。在FTP的使用当中,用户经常遇到两个概念:"下载"(Download)和"上传"(Uploa...原创 2018-07-04 15:29:00 · 6002 阅读 · 0 评论 -
linux系统界面图形化操作步骤
X-manger是一套很实用的远程工具,它可以图形化,web开发,linux-windows互传文件等,如需要破解下载:https://pan.baidu.com/s/1aKzAzwJJjnhHDjTwM7pOhA 密码:gght其中X-manger组件提供了多种图形化的方式,本文着重介绍一个相对简单的图形化方式以供参考,大家可以用此方法进行oracle图形化安装,pythonidelin...原创 2018-06-28 20:33:29 · 9871 阅读 · 0 评论 -
如何在shell脚本中调用oracle数据库并返回结果
oracle数据库在linux系统里一般用的是oracle用户,环境变量等也是oracle用户那么如何在root用户下写shell脚本调用oracle数据库并返回结果只需要在你的shell脚本中加入下面的脚本即可!# 获取oracle环境变量并在root用户中生效(暂时)export ORACLE_HOME=$TY_ORACLE_HOMEexport LD_LIBRARY_PA...原创 2019-08-13 11:19:33 · 12619 阅读 · 0 评论 -
物理机与虚拟机之间的文件互传
现在的服务器平台架构基本上都是集群模式,集群里的每一台物理机又可以虚出来很多虚拟机,层层叠进,那么物理机与虚拟机之间如何文件互传呢由于单纯的物理机的性质只是存储服务器,虚拟机要想获取物理机上的文件,可以采用以下办法把文件打包成iso文件格式,虚拟机选择挂载这个文件即可:把需要上传的文件夹用iso打包工具打包为iso格式,然后用VM上的硬盘挂载即可,这个针对外网文件传输到内网非常有效 集群...原创 2019-08-01 09:23:06 · 6387 阅读 · 0 评论