shell菜单模板 （数据库数据提取生成csv Redis初始化方案 调用python脚本）

最新推荐文章于 2024-06-20 23:49:55 发布
最新推荐文章于 2024-06-20 23:49:55 发布
阅读量251 收藏 1
点赞数 1
分类专栏： linux 文章标签： shell shell调用python 提取数据库生存csv python redis脚本
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hesiyuanlx/article/details/90210169
版权

shell菜单模板

提供了一个主菜单页面 调用不同任务类型 再返回主菜单的一种模板

显示任务主菜单

#!/bin/bash

#----------------------常量池开----------------------
CUR_PROJECT_DIR=$(cd `dirname $0`; pwd) 
#----------------------常量池闭----------------------

print_menu() {
    echo "----------------------------------"
    echo "  菜单题目 "
    echo "----------------------------------"
    echo "(1) 任务1-读取数据库数据导出csv文件"
    echo "(2) 任务2-redis相关操作"
    echo "(3) 任务3-调用python脚本进行解析csv文件"
    echo "(q) 退出"
    echo "----------------------------------"
}

choose() {
    while true; do
        echo -n "请输入选项: "
        read choice
        case ${choice} in
        1)
            /bin/bash ${CUR_PROJECT_DIR}/task_1.sh
            return 1
            ;;
        2)
            /bin/bash ${CUR_PROJECT_DIR}/task_2.sh
            return 1
            ;;
        q|Q|quit)
            return 0
            ;;
        *)
            echo "输入参数错误，请重新输入"
            ;;
        esac
    done
    return 0
}

main() {
    while true; do
        clear
        print_menu
        choose
        if [ $? -eq 0 ]; then
             break;
        fi
        read -r -n 1 -p "按任意键继续"  button
    done
}

main

子任务1菜单（以读取mysql数据生成csv文件为样例）

#!/bin/bash

#----------------------常量池开----------------------
CUR_PROJECT_DIR=$(cd `dirname $0`; pwd)
TMP_QUERY_RESULT_PATH=$CUR_PROJECT_DIR/data
#数据库常量
DB_NAME_PREFIX="testdb"
TABLE_NAME_PREFIX="test_table_"
HOST_IP=
PORT=
USER=
PWD=
AGENT_ID=
#文件常量
SEPARATOR=","
#----------------------常量池闭----------------------

#----------------------初始化-------------------------
mkdir -p ${TMP_QUERY_RESULT_PATH}
#----------------------初始化结束--------------------

print_task_1_menu() {
	echo "----------------------------------"
    echo "数据库数据抽取导出csv方案1"
    echo "----------------------------------"
    echo "(1) 开始"
    echo "(q) 退出"
    echo "----------------------------------"
}

task_1_choose() {
	while true; do
        read -p "请输入选项: " choice
        case ${choice} in
        1)
            select_taks_1
            if [ $? -eq 0 ]; then
               echo "任务执行失败，请检查error.out"
               return 0
            fi
            return 1
            ;;
        q|Q|quit)
            return 0
            ;;
        *)
            echo "输入参数错误"
            ;;
        esac
    done
}

select_task_1() {
	read -p "请输入查询条件1" parameter1
	read -p "请输入查询条件2" parameter2
	#对参数1进行校验是否为数字
	if expr $parameter1+ 0 &>/dev/null; then 
				select_all_db
				return $?
            else
                echo "非数字错误码输入"
                return 0
    fi
}

select_all_db() {
	echo  "开始数据提取"
	for db_index in $(seq -w 0 99)
	do
	echo "任务执行进度完成百分比: $db_index"
	db_name="${DB_NAME_PREFIX}${db_index}"
	select_one_db ${db_name}
	done
}

select_one_db() {
	for table_index in $(seq -w 0 99)
	do
	table_name="${TABLE_NAME_PREFIX}${table_index}"
	select_one_table $1 ${table_name}
	done
}

select_one_table() {
    sql = "select field1, field2, field3 FROM $1.$2 WHERE parameter1='${parameter1}' AND parameter2='${parameter2}"
	mysql -N -s -r --default-character-set=utf8 -h${HOST_IP} -P${PORT} -u{USER} -p${PWD} -e "${sql}'" 2>>error.out | awk '{print $1${SEPARATOR}$2${SEPARATOR}$3${SEPARATOR}$4${SEPARATOR}}' >> $TMP_QUERY_RESULT_PATH/result_.csv
	#注意mysql中date类型读取完是占2行 需要用$1" "$2进行连接，中间不能有分隔符
}

task_1_main() {
	while true; do
		clear
		print_task_1_menu
		task_1_choose
		if [ $? -eq 0 ]; then
             break;
        fi
		read -r -n 1 -p "按任意键继续"  button
    done
}

task_1_main

子任务2菜单（redis相关操作示例）

配置文件 config.sh


# redis客户端所在位置
REDIS_CLIENT=/app/Redis/redis-cli
REDIS_HOST=
REDIS_PWD=
REDIS_PORT=
REDIS_COMMAND="${REDIS_CLIENT} -c -p ${REDIS_PORT} -a ${REDIS_PWD} -h ${REDIS_HOST}"

主菜单 main_menu.sh

#!/bin/bash

#----------------------常量池开----------------------
CUR_PROJECT_DIR=$(cd `dirname $0`; pwd)

#----------------------常量池闭----------------------
# 导入其他配置文件
source ${CUR_PROJECT_DIR}/config.sh

print_tesk_2_menu() {
	echo "----------------------------------"
    echo "redis操作脚本"
    echo "----------------------------------"
    echo "(1) 数据查询"
    echo "(2) 数据更新"
    echo "(3) 初始化"
    echo "(q) 退出"
    echo "----------------------------------"
}

tesk_2_choose() {
	while true; do
        read -p "请输入选项: " choice
        case ${choice} in
        1)
            redis_task_1
            return 1
            ;;
        2)
            redis_task_2
            return 1
            ;;
        3)
            redis_task_3
            return 1
            ;;
        q|Q|quit)
            return 0
            ;;
        *)
            echo "输入参数错误"
            ;;
        esac
    done
}

redis_task_1() {
	$REDIS_COMMAND del key1
	echo `$REDIS_COMMAND hmget hashkey key1`
	echo $(REDIS_COMMAND hmget hashkey key2)
}

redis_task_2() {
	$REDIS_COMMAND del key1
	read -p "请输入初始化起始值" value1
	read -p "请输入最大值2" value2
	$REDIS_COMMAND hmset hashkey key1 value1
	$REDIS_COMMAND hmset hashkey key2 value2
	$REDIS_COMMAND rpush listkey value
}

redis_task_3() {
	channel_min=`$REDIS_COMMAND hget hashkey key1`
	channel_count=`$REDIS_COMMAND hget hashkey key2`
	channel_end=channel_min + channel_count
	for ((i=channel_min;i<chanel_end;i++)): do
	  $REDIS_COMMAND rpush listkey "{\"id\":${i}}"
	done
	return 0
}

task_2_main() {
	while true; do
		clear
		print_task_2_menu
		task_2_choose
		if [ $? -eq 0 ]; then
             break;
        fi
		read -r -n 1 -p "按任意键继续"  button
    done
}

task_2_main

子任务3菜单（调用python脚本解析csv文件）

#!/bin/bash

#----------------------常量池开----------------------
CUR_PROJECT_DIR=$(cd `dirname $0`; pwd)
TMP_QUERY_RESULT_PATH=$CUR_PROJECT_DIR/data
#----------------------常量池闭----------------------

print_task_3_menu() {
    echo "----------------------------------"
    echo "调用python执行任务"
    echo "----------------------------------"
    echo "(1) csv文件paython解析"
    echo "(q) 退出"
    echo "----------------------------------"
}

task_3_choose() {
	while true; do
        echo -n "请输入选项: "
        read choice
        case ${choice} in
        1)
            read -p "请输入要处理的文件名" file_name
	    	echo "开始处理${file_name}的文件"
            if [ -f "${TMP_QUERY_RESULT_PATH}/${file_name}.csv" ];then
				echo "找到文件"
				python task_3.py "${file_name}.csv"
            else
                echo "未能找到文件"
            fi
            return 1
            ;;
        q|Q|quit)
            return 0
            ;;
        *)
            echo "输入参数错误"
            ;;
        esac
    done
}

task_3_main() {
	while true; do
		clear
		print_task_3_menu
		task_3_choose
		if [ $? -eq 0 ]; then
             break;
        fi
    read -r -n 1 -p "按任意键继续"  button
    done
}

task_3_main

task_3.py

#!/usr/bin/python
#-*- coding:utf-8 -*-

import os
import csv
import codecs

import sys
reload(sys)
sys.setdefaultencoding('utf-8')

CUR_PROJECT_DIR = os.path.dirname(os.path.realpath(__file__))
RESULT_PATH = CUR_PROJECT_DIR + '/' + 'result'
TMP_QUERY_RESULT_PATH=CUR_PROJECT_DIR + '/' + 'data'

def _analysis_data_file(file_name):
    print '开始解析文件%s'%(file_name)
    fiednames = ("o_row_1", "o_row_2", "o_row_3", "o_row_4")
    global RESULT_PATH 
    with codecs.open("%s/%s"%(RESULT_PATH, file_name), 'r', encoding = 'utf-8') as csvfile:
        rows = csv.DictReader(csvfile, fiednames, delimiter=',')
        for row in rows:
	    	#print row
            _deal_row(row)
            
def _deal_row(row):
	CHECK_DATA_FIED_NAMES=['row1','row2','row3']
	file_check_data_out = codecs.open('%s/result.csv'%(RESULT_PATH), 'w', encoding = 'utf-8')
	file_check_data_csv_write.writerow(CHECK_DATA_FIED_NAMES)
	result_list=[]
	result_list.append(row["o_row_1"])
	result_list.append(row["o_row_4"])
	result_list.append(row["o_row_2"])
	
############################################################
if __name__ == '__main__':
    if len(sys.argv) != 2:
	print '参数个数异常 入参 缺失文件名'
        sys.exit()
    file_name = sys.argv[1]
    _analysis_data_file(file_name)
饮水偲源
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
项目：shell实现多级菜单脚本编写
m2282475145的博客
02-25 953
本脚本主要实现多级菜单效果，并没有安装LAMP、LNMP环境，如果要用在实际生成环境中部署LNMP、LAMP环境，只需要简单修改一下就可以了。
基于Shell脚本菜单系统设计
alexshen01的博客
11-03 1566
基于本课程所学要求设计一款程序包含是和系统有关，且不能做诸如计算器，小游戏之类的编程程序；同时代码应尽可能体现使用shell脚本编程优势。本文依照课题老师所要求除了利用（顺序/选择/循环 三大结构）外，还可以运用所学的Linux命令、管道、重定向、命令序列、bash一些技巧、AWK/SED、正则表达式；以上所制定的一款程序，包括文件引用，邮箱通信，交互式应答，系统初始化，定时同步等程序.
SHELL菜单
dqe03dqe
01-11 122
SHELL菜单 2011年09月01日 　　 SHELL菜单的编写从此变得如此简单 　　完善的流程控制 　　简洁精美的界面 　　将下面的代码分别存为3个文件： msh.etc, msh.fun, msh.sh 　　执行msh.sh，看一下效果吧 　　只要修改msh.etc和msh.fun文件，就可以生成自己的菜单了，不用再写程序了 　　--------...
shell脚本循环查询数据库实现数据输出到csv
初心不忘、始终方得
07-21 2454
shell操作数据处理
16_Shell语言———for循环元素列表的生成法则
weixin_33849942的博客
05-22 530
for循环语句的元素列表可以由几种方式生成：a）逐一列举所有元素，前文中的元素列表都是采用的这种形式；b）采用通配符的方式。逐一列举所有元素的方式只适合于少量元素的列表，如果元素个数较多，此方法就不适用了。如要遍历/var目录下的所有文件，且判断文件类型，如果采用ls/var查看所有文件，然后逐一列举所有元素的方式，会比较麻烦，但是如果采用或通配符来生成列表，会使操作...
Python定时从Mysql提取数据存入Redis的实现
09-08
在本文中，我们将深入探讨如何使用Python实现一个定时任务，该任务从MySQL数据库中提取数据并将其存储到Redis缓存中。这个过程涉及到两个主要组件：`FromSql` 类用于从MySQL获取数据，`RedisQueue` 类用于处理Redis...
Redis数据库入门与python操作redis实战
06-09
redis是基于内存的key-value数据库，比传统的关系型数据库在性能方面有非常大的优势。，利用Redis可以解决高并发的数据访问问题，同时Redis又可以与许多的...通过学习python操作redis数据库，同学们能够掌握使用redis
Redis数据库6.2.5版本自动化安装脚本
05-01
Redis数据库6.2.5版本自动化安装脚本 ### 适用于安装redis数据库 ### 安装环境CentOS7系统 ### 一键安装
python3实现将json对象存入Redis以及数据的导入导出
09-08
总的来说，Python3 实现将 JSON 对象存入 Redis 主要涉及 JSON 序列化、Redis 连接初始化、选择合适的数据类型和命令进行存储，以及了解 Redis 的持久化机制来保证数据的安全性。在实际应用中，还需要考虑如何有效地...
Python的Flask框架应用调用Redis队列数据的方法
12-24
任务异步化 打开浏览器，输入地址，按下回车，打开了页面。于是一个HTTP请求（request）就由客户端发送到服务器，服务器处理请求，返回响应（response）内容。 我们每天都在浏览网页，发送大大小小的请求给服务器。...
非常简单的Shell菜单脚本
09-15
主要为大家详细介绍了非常简单的Shell菜单脚本，傻瓜式的人机交互，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
Shell中创建序列和数组(list、array）的方法
09-15
主要介绍了Shell中创建序列和数组(list、array）的方法,本文讲解了seq方法生成以及通过内部{begin..end}生成法,需要的朋友可以参考下
shell脚本菜单的创建
互联网
11-25 737
创建文本菜单创建菜单布局root@wl-MS-7673:/home/wl/桌面/shell# cat -n test1.sh 1 #!/bin/bash 2 echo -e "\t\tMenu" 3 echo -e "1.\tDisplay disk space" 4 echo -e "2.\tDisplay ...
shell 脚本菜单menu
lbaihao的专栏
05-28 2622
# 第一列： 菜单在程序中的名称 # 第二列： 是否有子菜单  # have sub menu: 有子菜单， no sub menu： 没有子菜单 # 第三列： 是否有check box:  # have check box: 有子菜单， no check box: 没有子菜单 # 第四列： value是否需要显示字符串（一般用来显示子菜单当前的选项） # have value s
shell脚本-从用户列表里批量创建或…
LDF-Dicky的博客
07-15 1476
#!/bin/bash #./adduser.sh -a -- userlist set -- `getopt -q ad $@` flag=0 while [ -n $1 ]; do case $1 in -a|--add) flag=add ;; -d|--delete) flag=del ;; -h|--help) echo "Descreption: this script is use
PyQt5 图形界面-用Qt Designer来设计UI界面，并转化为python代码运行实例演示
热门推荐
小蓝枣的博客
12-26 4万+
PyQt5 图形界面-用Qt Designer来设计UI界面，并转化为python代码运行实例演示。 Qt Designer 是 Qt Creater 程序里的一个功能。 PyQt5是把 Qt Designer 设计的界面转化为python代码的库。 首先打开我们的Qt Creater。 点击左上角文件的“新建文件或项目”，然后我们选择Qt Designer Form。 选一个默认布局。 选择存储路径和存储名称。 转化为python代码。
shell实现菜单选择的两种方法
静湖微风
06-05 1万+
命令太长, 每次输入太麻烦
Linux命令运行时的进程关系
最新发布
ZMXdecode的博客
06-20 556
如上图可以看出，第一次什么都不做，使用ps -f 命令，就可以看到 有bash的进程，这个就是父shell, 然后我们再输入bash 命令，输入后，看不出任何变化，但实际上，已经又生成了一个子shell. 从图中可以看出，新生成的子shell的PID是537699，这个shell的父进程是 537377. 然后我们看父shell的PID就是 537377。shell是一个命令行解释器工具，它是一个时刻都在运行的程序，当我们在命令行输入命令，shell会去解释执行这个命令。建命令的操作方式大不相同。
python初始化Redis
06-06
在 Python 中使用 Redis，需要先安装 Redis 的 Python 客户端模块：redis-py。可以使用 pip 安装，命令如下： ``` pip install redis ``` 安装完成后，在 Python 代码中导入 redis 模块： ```python import redis...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值