- 博客(11)
- 收藏
- 关注
原创 Shell cut分割
有一个文件address.txt,文件里面的字符以逗号分隔,逗号之前表示网址描述,逗号后面表示网址地址abc.club,https://ws-di1.sit.cmrh.com/RH_IM/FileService现在想获取网址描述和地址可以用cut工具来处理:for line in $(cat address.txt)dofir_str=echo $line | cut -d \, -f 1echo $fir_strsec_str=echo $line | cut -d \, -f 2echo
2021-01-08 14:22:47 577
原创 shell grep文本搜索
grep语法:grep [option] “string_to_find” filename选项与参数:(1)-i:忽略搜索字符串的大小写(2)-v:取反,即输出不匹配的那些文本行(3)-n:输出行号(4)-l:输出能够匹配模式的文件名,相反的选项为-L(5)-q:静默输出(6)-w:精准匹配根据实际需求进行选择即可string_to_find为需要匹配的模式,可以填写字符串或者正则表达式filename为需要查找的文件的名称。现有文件test_001.txt,文件内容如下:yel
2021-01-05 18:23:07 209
原创 shell 内部域分隔IFS环境变量
data="name,sex,rollno,location"oldIFS=$IFS # 备份IFS到变量oldIFSIFS=$',' # 将IFS设置为逗号,便于做data的分隔符IFS=$oldIFS # 最后将IFS还原for item in $data;do echo Item:$item;donedata_code="name:sex:rollno:location"data_value="gender:certificate_type:certificate_no...
2021-01-05 18:21:41 155
原创 shell 替换
现有p1=(“1a:2b:3c:4d:5e:6f:7g:8h”)需转化为如下变量:p1=(‘1a’,‘2b’,‘3c’,‘4d’,‘5e’,‘6f’,‘7g’,‘8h’)shell代码如下p1=("1a:2b:3c:4d:5e:6f:7g:8h")echo ${p1}v_p1=${p1//:/\',\'}echo ${v_p1}v_p2="('"${v_p1}"')"echo ${v_p2}p1=$v_p2echo $p1...
2021-01-05 18:20:54 79
原创 shell 循环排序剔除重复数据
1.通过循环得到可能出现的数值交叉情况,可能一个数值,可能两个数值,可能三个数值var_mem_id_2=(100 200 300 400 500 600)for line_01 in ${var_mem_id_2[@]}do echo $line_01 >> file.txt for line_02 in ${var_mem_id_
2021-01-05 18:20:06 346 1
原创 hive列转行、行转列
1.列转行select t.cust_id ,concat_ws(',',collect_list(group_id)) one_pace from (select 'A_001' cust_id ,'20191014' group_id union all select 'A_001' cust_id ,'20191015' group_id
2021-01-05 18:18:17 334
原创 python 模块定义、导入、优化
1.定义:模块:用来从逻辑上组织python代码(变量、函数、类、逻辑:实现一个功能),本质就是.py结尾的python文件(文件名:test.py,对应的模块名称:test)包:从逻辑上组织模块,本质就是文件夹或者目录,区别在于带有一个__init__.py的文件2.导入方法模块:import module_nameimport module_name1,module_name2from module_name import * (少用)from module_name import
2021-01-05 18:14:12 77
原创 VScode操作文档
一:远程开发目前日常办公主要以windows为主,而开发只能在无桌面的服务器端进行,这样随之而来的就是开发效率和便捷性的降低。虽然一些小的项目可以使用vim完成,但是在大一些的工程,就会觉得处处都显得非常不顺手,所以下面将介绍一个可用于远程开发的软件--VS Code。二:安装官网下载:https://code.visualstudio.com/下载完成后安装提示安装即可三:在线-远程开发配置第一步:安装插件配置远程开发首先需要安装一个名为Remote Development的插件①击扩
2021-01-05 18:08:57 401
原创 Git代码协作开发
一:项目开发1.登录开发环境,初始化项目git init2.关联远程库:git remote add origin http://xxx.xx.xx.xx/xxxx/xxxx.git3.同步开发分支git fetch origin4.克隆release分支git clone -b release_20201230 http://xxx.xx.xx.xx/xxxx/abcd.git进入克隆的项目目录:cd abcd/5.创建开发者dev分支git checkout -b dev_liu
2021-01-05 18:01:15 101
原创 linux python 安装
1.安装python参考:https://www.cnblogs.com/hgz-dm/p/11356423.html官网下载源码:https://www.python.org/downloads/release/python-379/上传到服务器:/usr/local/Python-3.7.9.tgz检查是否下载完整文件,与官网的MD5 Sum对比:[root@cnsz92vl09569 local]# md5sum Python-3.7.9.tgz解压文件:[root@cnsz92vl09
2021-01-05 17:58:25 221 1
原创 hive替换文件中特殊字符
select regexp_replace(regexp_replace(regexp_replace(t.column_001,’\0’,’’),’\012’,’’),’\015’ ,’’) as column_001,regexp_replace(regexp_replace(regexp_replace(t.column_002,’\0’,’’),’\012’,’’),’\015’ ,’’) as column_002,regexp_replace(regexp_replace(regexp_
2021-01-05 17:56:30 1694
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人