wingwei_liu-CSDN博客

原创 Shell cut分割

有一个文件address.txt，文件里面的字符以逗号分隔，逗号之前表示网址描述，逗号后面表示网址地址abc.club,https://ws-di1.sit.cmrh.com/RH_IM/FileService现在想获取网址描述和地址可以用cut工具来处理：for line in $(cat address.txt)dofir_str=echo $line | cut -d \, -f 1echo $fir_strsec_str=echo $line | cut -d \, -f 2echo

2021-01-08 14:22:47 569

原创 shell grep文本搜索

grep语法：grep [option] “string_to_find” filename选项与参数：（1）-i：忽略搜索字符串的大小写（2）-v：取反，即输出不匹配的那些文本行（3）-n：输出行号（4）-l：输出能够匹配模式的文件名，相反的选项为-L（5）-q：静默输出（6）-w：精准匹配根据实际需求进行选择即可string_to_find为需要匹配的模式，可以填写字符串或者正则表达式filename为需要查找的文件的名称。现有文件test_001.txt，文件内容如下：yel

2021-01-05 18:23:07 204

原创 shell 内部域分隔IFS环境变量

data="name,sex,rollno,location"oldIFS=$IFS # 备份IFS到变量oldIFSIFS=$',' # 将IFS设置为逗号，便于做data的分隔符IFS=$oldIFS # 最后将IFS还原for item in $data;do echo Item:$item;donedata_code="name:sex:rollno:location"data_value="gender:certificate_type:certificate_no...

2021-01-05 18:21:41 151

原创 shell 替换

现有p1=(“1a:2b:3c:4d:5e:6f:7g:8h”)需转化为如下变量：p1=(‘1a’,‘2b’,‘3c’,‘4d’,‘5e’,‘6f’,‘7g’,‘8h’)shell代码如下p1=("1a:2b:3c:4d:5e:6f:7g:8h")echo ${p1}v_p1=${p1//:/\',\'}echo ${v_p1}v_p2="('"${v_p1}"')"echo ${v_p2}p1=$v_p2echo $p1...

2021-01-05 18:20:54 71

原创 shell 循环排序剔除重复数据

1.通过循环得到可能出现的数值交叉情况，可能一个数值，可能两个数值，可能三个数值var_mem_id_2=(100 200 300 400 500 600)for line_01 in ${var_mem_id_2[@]}do echo $line_01 >> file.txt for line_02 in ${var_mem_id_

2021-01-05 18:20:06 324 1

原创 hive列转行、行转列

1.列转行select t.cust_id ,concat_ws(',',collect_list(group_id)) one_pace from (select 'A_001' cust_id ,'20191014' group_id union all select 'A_001' cust_id ,'20191015' group_id

2021-01-05 18:18:17 317

原创 python 模块定义、导入、优化

1.定义：模块：用来从逻辑上组织python代码（变量、函数、类、逻辑：实现一个功能），本质就是.py结尾的python文件（文件名：test.py，对应的模块名称：test）包：从逻辑上组织模块，本质就是文件夹或者目录，区别在于带有一个__init__.py的文件2.导入方法模块：import module_nameimport module_name1,module_name2from module_name import * （少用）from module_name import

2021-01-05 18:14:12 70

原创 VScode操作文档

一：远程开发目前日常办公主要以windows为主，而开发只能在无桌面的服务器端进行，这样随之而来的就是开发效率和便捷性的降低。虽然一些小的项目可以使用vim完成，但是在大一些的工程，就会觉得处处都显得非常不顺手，所以下面将介绍一个可用于远程开发的软件--VS Code。二：安装官网下载：https://code.visualstudio.com/下载完成后安装提示安装即可三：在线-远程开发配置第一步：安装插件配置远程开发首先需要安装一个名为Remote Development的插件①击扩

2021-01-05 18:08:57 391

原创 Git代码协作开发

一：项目开发1.登录开发环境，初始化项目git init2.关联远程库：git remote add origin http://xxx.xx.xx.xx/xxxx/xxxx.git3.同步开发分支git fetch origin4.克隆release分支git clone -b release_20201230 http://xxx.xx.xx.xx/xxxx/abcd.git进入克隆的项目目录：cd abcd/5.创建开发者dev分支git checkout -b dev_liu

2021-01-05 18:01:15 97

原创 linux python 安装

1.安装python参考：https://www.cnblogs.com/hgz-dm/p/11356423.html官网下载源码：https://www.python.org/downloads/release/python-379/上传到服务器:/usr/local/Python-3.7.9.tgz检查是否下载完整文件,与官网的MD5 Sum对比:[root@cnsz92vl09569 local]# md5sum Python-3.7.9.tgz解压文件：[root@cnsz92vl09

2021-01-05 17:58:25 185 1

原创 hive替换文件中特殊字符

select regexp_replace(regexp_replace(regexp_replace(t.column_001,’\0’,’’),’\012’,’’),’\015’ ,’’) as column_001,regexp_replace(regexp_replace(regexp_replace(t.column_002,’\0’,’’),’\012’,’’),’\015’ ,’’) as column_002,regexp_replace(regexp_replace(regexp_

2021-01-05 17:56:30 1665

yuinliu的博客