用shell脚本生成data pipeline的日志

最新推荐文章于 2024-06-02 10:03:25 发布
最新推荐文章于 2024-06-02 10:03:25 发布
阅读量853 收藏 2
点赞数
分类专栏： linux 文章标签： data pipeline shell脚本
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/happyhorizion/article/details/79883057
版权
在数据处理的data pipeline中，shell脚本常用于批量任务，生成日志文件便于调试和追踪。本文介绍了如何用echo命令、cat命令配合EOF以及反引号生成日志，提供了一种在shell脚本中实现日志记录的方法。
摘要由CSDN通过智能技术生成

用shell脚本生成data pipeline的日志

在数据处理的data pipeline通常主要的数据处理工作都是用shell脚本批量完成. 特别有必要生成各被试数据处理日志文件以便pipeline的调试, 优化, 数据处理的追踪. Python提供了一个日志记录工具包: loggings, 其实shell脚本也可以方便地生成日志.

用echo命令

用echo将需要记录的内容输出, 并通过管道重定位到日志文件中

for g in `cat test` ; do  
  echo "line in test: "$g >> .logmore   
done

用cat命令配合EOF

对于内容很多的情况, 可以用EOF结合cat命令。
EOF是END Of File的缩写,表示自定义终止符.既然自定义,那么EOF就不是固定的,可以随意设置别名,在linux控制台按ctrl-d就代表EOF, 终止正在运行的命令.
EOF一般会配合cat能够多行文本输出.
通过cat配合重定向(<, >, <<, >>)能够生成文件并追加操作, 其用法如下:


                

                
                
        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  lxy_Alex
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    2
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
pipeline:`pipeline` shell命令

				
			

			

				

					03-08
				

			

		

		

			
				
pipeline外壳命令
一个实用程序，可简化建立Shell命令管道的过程，尤其是在进行数据探索时。
 如果您发现自己正在编写shell代码，那么在无穷循环管道输出到less ，扫描遍历并进行更改的循环中， pipeline可以使您的生活更加美好。
 这只是外壳的薄薄包装，而不是某些全新的数据挖掘工具。 启动管道，然后像往常一样开始键入shell命令。 每次按回车键时，您都会看到输出的一屏预览，类似于将输出管道传递到less ，但是您的光标将停留在原处，以进行进一步的编辑。
 完成后，请按Ctrl-C。
安装
管道仅依赖于ncurses和readline（或libedit），两者都随MacOS和最常见Linux发行版一起提供。
苹果系统
用安装。
 brew tap codekitchen/pipeline
brew install pipeline
从来源
您可以从下载最新版本的tarb

			
		

	



                

              
                



	

		

			

				
					
Pipelines in Shell

				
			

			

				

					AhCola
				

				

					11-26
					
					1705
					
				

			

		

		

			
				
学习 shell 脚本必须要理解 pipeline 的概念，知道 command 的输入（input）和输出（output）的概念。只有掌握了 pipeline 的机制我们才能更好的写好 shell 脚本，本章内容详细介绍 pipeline。

			
		

	



                


  
              

                


	

		

			

				
					
推荐使用：`pipeline`——强大的shell命令行管道工具

					
最新发布

				
			

			

				

					gitblog_00039的博客
				

				

					06-02
					
					509
					
				

			

		

		

			
				
推荐使用：pipeline——强大的shell命令行管道工具
项目地址:https://gitcode.com/codekitchen/pipeline
在日常的系统管理或数据探索工作中，您是否曾因不断地在shell命令之间建立管道而感到困扰？如果是的话，那么pipeline这个开源项目将为您带来全新的体验。
1、项目介绍
pipeline是一个轻量级的工具，旨在简化构建shell命令管道的过程，...

			
		

	





	

		

			

				
					
Mini-Shell with pipeline

				
			

			

				

					Doraemon0454的专栏
				

				

					04-21
					
					521
					
				

			

		

		

			
				
main.cpp
#include 
#include 
#include 
#include 
#include 
#include 
#include 
#include 
using namespace std;

#include "shell_lib.h"

int main()
{
	string user_input = "";
	
	do
	{
		/*Display promp

			
		

	



		

			
		



	

		

			

				
					
shell脚本生成.txt数据文件

				
			

			

				

					03-29
				

			

		

		

			
				
shell脚本生成.txt数据文件，shell脚本生成.txt数据文件

			
		

	





	

		

			

				
					
自动生成数据shell脚本

				
			

			

				

					07-24
				

			

		

		

			
				
自动生成数据shell脚本
自动生成数据shell脚本
ORACLE
自动生成数据shell脚本
自动生成数据shell脚本

			
		

	





	

		

			

				
					
shell 脚本

				
			

			

				

					08-30
				

			

		

		

			
				
Shell脚本就是用Shell语言编写的程序，它能够自动化执行一系列命令，提高工作效率。编写Shell脚本的基本结构包括：  1. **脚本首行**：通常以`#!/bin/bash`开始，告诉系统这个文件是一个Bash脚本。这里的路径可能因...

			
		

	





	

		

			

				
					
GATK-pipeline:实现 GATK 管道以进行变体调用的 shell 脚本

				
			

			

				

					07-10
				

			

		

		

			
				
GATK-管道实现 GATK 管道以进行变体调用的 shell 脚本。 为示例 BAM 文件创建文件。 通过在一组样本上运行脚本创建的 GVCF 文件可以使用联合进行基因分型从下载GATK 关于 GATK 的信息- 依赖关系用法 sh GATK.sh输出 ...

			
		

	





	

		

			

				
					
linux shell  脚本

				
			

			

				

					01-16
				

			

		

		

			
				
通过深入学习和实践，你可以编写出功能强大的Shell脚本，解决各种自动化任务，如系统监控、备份策略、日志分析等。在"Linux Shell脚本攻略.pdf"这本书中，你可能将找到详细的教程和实例，帮助你从初学者逐渐成长为...

			
		

	





	

		

			

				
					
shell脚本.docx

				
			

			

				

					11-28
				

			

		

		

			
				
本文档是对Shell脚本编写的总结，涵盖了重定向、管道、变量、循环以及日志处理等多个关键概念。  1. **文件重定向**：  - 标准输入（stdin）默认为0，标准输出（stdout）为1，标准错误（stderr）为2。  - 可以使用`>...

			
		

	





	

		

			

				
					
shell风格的python pipeline

				
			

			

				

					iTer的专栏
				

				

					01-22
					
					1213
					
				

			

		

		

			
				
源码来自 
CoolShell.cn 函数式编程的评论里面。在此收藏一下
class Pipe(object):
    def __init__(self, func):
        self.func = func
 
    def __ror__(self, other):
        def generator():
            for obj in other:

			
		

	





	

		

			

				
					
修正的带PipeLine的Shell

				
			

			

				

					Doraemon0454的专栏
				

				

					05-04
					
					795
					
				

			

		

		

			
				
main.cpp
#include 
#include 
#include 
#include 
#include 
#include 
#include 
#include 
using namespace std;

#include "shell_lib.h"
//#include "test_lib.h"

int main()
{
	string user_input = "";
	


			
		

	





	

		

			

				
					
shell中pipeline的运行探秘

				
			

			

				

					cleanfield的专栏
				

				

					10-09
					
					714
					
				

			

		

		

			
				
介绍shell中的pipeline的实现机制以及运行解析，可以理解shell中的子进程以及管道的应用

			
		

	





	

		

			

				
					
Jenkins Pipeline 中使用sh步骤来执行 Shell 脚本或命令示例详解

				
			

			

				

					学亮编程手记
				

				

					04-17
					
					1486
					
				

			

		

		

			
				
这些命令会被当作一个整体在 Shell 环境中执行，顺序依次为打印消息、列出目录内容、再次打印消息。步骤将返回 Shell 命令的标准输出作为字符串。这个输出可以被后续的 Groovy 代码处理，如在本例中将其打印到控制台。步骤将返回 Shell 命令的退出状态（通常 0 表示成功，非零表示失败）。根据实际需求，您可以结合这些示例编写适合您项目的 Pipeline 脚本。Shell 脚本中引用了这个参数值，用于执行部署脚本。在这个例子中，Pipeline 执行了一个简单的 Shell 命令。

			
		

	





	

		

			

				
					
shell生成随机数方法总结

				
			

			

				

					weixin_34290000的博客
				

				

					05-23
					
					416
					
				

			

		

		

			
				
1）.随机生成10位数的小写字母：例如：wrfevrkjch ，yvfzzndshi， 纯字母shell: #!/bin/basha=(echo {a..z}) #定义一个数组for(( i=0;i<10;i++));doecho -n ${a[$RANDOM % ${#a[@]}]}doneecho#如果需要生成15的话，就把其中的i<10改成15即可，其他长度依次类推注释：$RAN...

			
		

	





	

		

			

				
					
PowerBuilder数据管道的实用程序设计技术

				
			

			

				

					三十而立 四十不惑
				

				

					05-18
					
					3174
					
				

			

		

		

			
				
PB数据管道的实用程序设计技术                                          王晓学 　　在PowerBuilder中我们可以通过数据管道，在不同数据库表之间移动数据，实现一个或多个表中的数据拷贝到一个新的或已经存在的目标数据表中。这种操作可以在不同数据库，甚至不同的DBMS之间进行。　　PowerBuilder提供了强大的数据管道技术（Data Pipel

			
		

	





	

		

			

				
					
shell中产生随机数的方法

				
			

			

				

					biolxy的博客
				

				

					08-16
					
					2413
					
				

			

		

		

			
				
echo $RANDOM

RANDOM是shell内置的随机数


for i in `seq 10000`;do echo $RANDOM >> 1.txt;done
产生10000个随机数
cat 1.txt |awk '{if(length($0)统计随机数中小于等于3位数的个数
echo $((RANDOM %10))
产生0-9的随机数
echo $RANDOM |m

			
		

	





	

		

			

				
					
Jenkins pipeline中使用sheel脚本生成日期可以吗

				
			

			

				

					06-14
				

			

		

		

			
				
当然可以，您可以使用shell脚本中的date命令来生成日期。例如，使用以下命令可以将当前日期（格式为YYYY-MM-DD）存储在一个变量中：  ``` current_date=$(date +%Y-%m-%d) ```  然后，您可以在Jenkins Pipeline中...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值