linux
魂落忘川犹在川
无端坠入红尘梦,惹却三千烦恼丝。
展开
-
linux getopts实现模拟mysql参数登录
getopts脚本设置方式# ":u:p:h:P:" 中开头的:是指区分错误类型# u: 变量后 : 指使用时必须有参数值# OPTARG 是指系统内置变量while getopts ":u:p:h:P:" optdo case $opt in u) user=$OPTARG echo "用户名: ${user}" ;; p) pwk=$OPTARG echo "用户密码: ${pwk} " ;; h) host=$OPTARG原创 2022-05-25 17:04:16 · 237 阅读 · 1 评论 -
hive自动化上传文件到表
自动化实现上传文件到表#!/bin/bash. /etc/profile. ~/.bash_profile. ~/.bashrcerror() { if [[ $? != 0 ]]; then echo "$@ 运行失败" exit 1 fi}# 待上传表名inset_table_name=$1# 待上传文件名file_name=$2# 分区名pt=$3load_path="/tmp/load_path/"curr原创 2022-03-04 19:29:44 · 1228 阅读 · 0 评论 -
linux 获取文件列数并转置行列
标题获取文件列数的两种实现方式原始素材文件一、使用awk# 获取每一行列数awk '{print NF}' file.txt # 获取最长列数cat file.txt |awk '{print NF}' |sort -nrk1|head -1# 获取最短列数cat file.txt |awk '{print NF}' |sort -nk1|head -1二、使用wc命令# 获取列数,wc -w 不会识别换行,因此只能单行识别cat file.txt |head -1|wc -w原创 2021-12-16 11:45:25 · 4690 阅读 · 0 评论 -
查找文件内容并返回文件名与查找内容对应行号linux和window同时实现
需求:有大量的小文件,想需要找到这些文件中,符合某种特定条件的文件名以及在该文件里的行号,这里介绍linux和python两种实现方式一、liunx实现# 查询 某些文件内是否包含某字符, 放回行数+文件名 + 该行内容# 查询当前目录及子目录文件中以log结尾的文件中, 存在呆子字符的行grep -rn '呆子' ./ --include=*.log返回结果: 文件名+行号二、python实现在window 系统可用python实现""" 读取指定目录下的csv文件, .原创 2021-09-18 16:27:13 · 876 阅读 · 0 评论 -
查看hive库下那些表是视图
多人用同一个数据库,有人表名命名不规范导致视图和表无法分离开来,当想查看那些是表,那些是视图时,遇到了问题。网上有提供show views;命令,但是在当前的hive版本中正本不支持主要问题在于两点grep 做过滤默认为模糊匹配,需要添加 -w 参数使用uniq -u 来过滤会有一部分隐藏文件和其它建的外表(已删除表)也会被输出代码如下#!/bin/bash. /etc/profile. ~/.bash_profile# 报错退出error() { if [[ $?.原创 2021-03-29 16:39:52 · 1004 阅读 · 0 评论 -
linux 常见问题及解决方案(1)
linux中将逗号分隔的txt格式文件转成csv 格式,解决中文乱码问题iconv -f UTF-8 -t GBK ${txt_file_name} -o ${csv_file_name}vi编辑器中重window直接上传的文件中包含<U+FEFF> 字符打开文件执行ESC + shift : set nobomb保存关闭,问题解决文件很大或太多文件需要加表头sed -i '1i\table_head' file_name遇到linux磁盘IO被占用,想查到是哪个程序pidsta.原创 2021-03-06 15:38:50 · 267 阅读 · 0 评论 -
自动化下载hive表数据(可指定分隔符和屏蔽字段)
一、脚本内容#!/bin/bash. /etc/profile. ~/.bash_profile# 报错退出error() { if [[ $? != 0 ]]; then echo "$@ 运行失败" #事务回滚机制 sh ~/bee_u_e.sh "drop table if exists tmp.nidaye_${pt}" exit 1 fi}#脚本使用说明if [[ $1 = help ]];t原创 2021-02-09 15:20:01 · 292 阅读 · 0 评论 -
解决Mysqld的压缩包 MySQL-5.6.22-1.el6.i686.rpm-bundle.tar为什么不能用tar -zxvf解压的问题
使用tar -zxvf 解压 MySQL-5.6.22-1.el6.i686.rpm-bundle.tar安装包时,会报下面的错误[hadoop@hadoop01 tools]$ tar -zxvf MySQL-5.6.22-1.el6.i686.rpm-bundle.tar gzip: stdin: not in gzip formattar: Child returned status...原创 2018-12-03 18:00:56 · 1171 阅读 · 0 评论 -
使用ntp实现集群一分钟同步时间
工欲善其事,必先利其器装工具sudo yum -y install ntp改配置sudo vi /etc/ntp.conf修改,放开注释restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap注释掉下面4个server 0.centos.pool.ntp.org iburstserver 1.centos.pool.ntp...原创 2018-12-08 21:49:21 · 458 阅读 · 0 评论 -
linux同步时间的脚本---定时任务
进入定时任务编辑页面crontab -e输入*/10 * * * * /usr/sbin/ntpdate node01保持与第一台机器时间上的同步,前提是要配好ssh免密登录所以可能会缺少两个插件yum -y install openssh-clients* //识别ssh-copy-idyum install -y ntpdate //时间插件查看定时任务内容cronta...原创 2018-11-27 22:13:05 · 1811 阅读 · 0 评论 -
最全Nginx编译参数详解
–prefix= 指向安装目录–sbin-path 指向(执行)程序文件(nginx)–conf-path= 指向配置文件(nginx.conf)–error-log-path= 指向错误日志目录–pid-path= 指向pid文件(nginx.pid)–lock-path= 指向lock文件(nginx.lock)(安装文件锁定,防止安装文件被别人利用,或自己误操作。)–user= ...原创 2018-12-04 20:51:46 · 365 阅读 · 0 评论 -
Nginx的安装
首先在linux系统下安装好jdk,然后准备好Nginx安装包,在解压前先准备几个工具类一下操作都在root用户下安装gcc:yum install gcc-c++ 安装pcre库: yum install -y pcre pcre-devel安装zlib库: yum install -y zlib zlib-devel安装openssl库 : yum install -y opens...原创 2018-12-04 20:32:47 · 101 阅读 · 0 评论 -
linux里的葫芦娃----awk ,sed,grep
准备:创建测试文件,分隔符为制表符"\t":第二个测试文件先说说grep:查找出文件aaa.txt中的日期格式字段接下来结合cut使用一下:先找到系统文件/etc/passwd来测试查找文件中的用户有哪些并去除超级用户 cut -f 2 testfile.txt //得到目标文件第二列,默认分割符\tcut -f 2 -d ‘-’ aaa.txt //得到目标文件第二列,...原创 2018-11-26 21:36:58 · 464 阅读 · 1 评论