shell
百物易用是苏生
企鹅小兵,搞搞大数据
展开
-
切割再合并文件用split与cat,打死别用zip
公司三层网络,往外出不了东西;外网传入,更是异常困难,只能邮箱每次传不超过几M文件;然后层层传递;用需要idea的一个插件包;用了zip -s 命令切割,然后按文档zip -s=0 --out 只有一半左右大小,用cat xxx* > target ,再 unzip 又是文件夹的形式,idea根本识别不了;TMD,费了半天去检验一个个小文件md5值,傻逼了;记录一下,以后打死不用zip 切割文件合并了正确姿势:split -d -b 4m scala-intellij-bin-2020原创 2021-01-27 10:12:44 · 494 阅读 · 0 评论 -
Centos重启后,如何调出sogou搜狗拼音输入法
Centos如何安装搜狗拼音输入法,忘了搜藏和转载文章了。大概步骤都是关闭ibus,然后使用ficx框架,然后适用于linux Ubuntu的安装包转化为 centos系统下rpm安装管理器可安装的包。然后断电了,重启了centos,直接到/bin下面 按照ibus、sogou、ficx一个个的执行试试。发现仅仅,启动 ficx就行了右上角就能看到了...原创 2020-06-30 15:15:42 · 651 阅读 · 0 评论 -
记录一次yum install bzip2 总是失败的原因:公司yum源把目录给改了
公司内网只有linux的anconda,而anaconda2的sklearn只到0.17.1 而其中sklearn.ensemble.IsolationForest 只在0.18.1之后才有看到anaconda3的是更高版本的0.18.2 ;至于为啥不pip,因为公司局域网无统一pip源。安装anaconda3失败,bzip2未安装,然后去安装bzip2 出现 mirrors 查找失败。...原创 2019-07-23 12:23:44 · 2568 阅读 · 1 评论 -
ifconfig eth0 down禁用网卡操作致使ssh连接不上,ping不通机器
大数据组件配置/etc/hosts文件,本应立即生效,没有效果,做了networking retart、service等都说找不到命令到reboot重启,说有root用户登录中,当前用户无法reboot最后不小心用了ifconfig eth0 down 来禁用网卡,结果就是绑定的ip等相关全都失效,网卡不工作,当然结果就是ssh连不上、ping ip不通,自己宛如智障if...原创 2019-07-16 11:01:58 · 3386 阅读 · 2 评论 -
shell 浮点数计算使用bc
bash shell 变量只支持字符和整数,想要进行浮点数运算,需要使用bc;bc 我理解为bash shell 中的C语言执行;var1=20var2=3.14159var3=`echo "scale=5;$var1 ^ 2 " | bc` #计算半径的平方var4=`echo "scal3=6;$var3 * $var2" | bc` #计算圆的面积其中scale用于bc中计算设...原创 2019-06-10 19:47:02 · 829 阅读 · 0 评论 -
shell间接变量引用两种方式
有时候我们需要用一个变量的值来引用以该值作为变量的值的需求,即A=“B”,然后有个变量B=“value”,需要通过A来访问得出“value”这个值;有两种方式#准备v1="v2"v2="hellow"一 value=${!varname} 的方式 ,即 ${!}v3=${!v1}二 expr value=$$varname 的方式 即 expr \$$eval v4=\$$v1...原创 2019-06-10 19:00:06 · 2013 阅读 · 2 评论 -
【shell】六 awk命令学习
调用awk类似sed(目前的linux 都是用的gawk,两者现在互相等同了。)awk调用三种方式①在shell命令输入awk [-F 域分隔符] 'awk 程序段' 输入文件②awk程序段插入脚本文件,然后通过awk命令调用它awk -f awk脚本文件 输入文件#通过-f 调用awk脚本文件③将awk命令插入脚本文件后,设为可执行,然后执行脚本文件./awk脚本文件 输入...原创 2019-06-04 12:47:02 · 281 阅读 · 0 评论 -
【shell】五 sed 命令 学习记录
sed是流编辑器,适合大文件、复杂匹配、多语句处理模式的文本处理器,不会改变源文件,但是可以使用重定向 > outputfile,然后替换源文件一:调用sed三种方式①shell命令行sed [option] 'sed command' inputfile②将sed命令插入脚本文件后,然后通过sed命令调用它sed [option] -f sed脚本文件 inpufile③s...原创 2019-05-31 19:10:41 · 236 阅读 · 0 评论 -
【shell】四 使用passwd来代替usermod修改密码
usermod -p password username #usermod 修改的密码在/etc/shadow中是明文密码,风险太大#应使用passwd代替转载 2019-05-28 20:15:18 · 494 阅读 · 0 评论 -
【shell】三 grep -e 正则表达式
场景大数据跑批生成了近千个文件,但是因异常,不知道终止时的task id。需要查找task id后,将后续的任务继续跑批。则需要查看目录,文件生成到哪一个,但是zeppelin中的shell interpret 只能查看100个文件,而且排序并不好看所以使用 grep -e [option] [regexString] 来查看目录使用例如我的任务是 task_num1_num2形式,查看...原创 2019-05-17 14:04:00 · 5175 阅读 · 0 评论 -
【shell】二 shell命令中 数字与字符窜进行拼接
num1=2num2=`expr $num1 + 2`str1="task_"${num2}即数字转字符串,用${variableName} 即可注意 {`expr` 1+2}却是不行原创 2019-05-15 20:06:18 · 5444 阅读 · 0 评论 -
【shell】一 shell命令一行中 加减数字 并 赋值
shell中数字加减echo `expr 1 + 2 + 3`6注意:①expr 后有空格② · 符号是键盘上Tab键上方的哪个,正确名称叫间隔符,而不是反引号③ 数字与 运算符号要有 空格 相隔开④ 小数的不支持,看的报错只支持整数⑤网上的((1+2)) ((1 + 2)) 等试过在shell命令行中不行shell 一行加减并赋值data=`expr 1 + 2 +3....原创 2019-05-15 19:50:38 · 2984 阅读 · 0 评论