2017年08月_吃鱼的羊

转载 shell中的重定向 1>&2 2>&1 >&2

当初在shell中, 看到">&1"和">&2"始终不明白什么意思.经过在网上的搜索得以解惑.其实这是两种输出. 在 shell 程式中，最常使用的 FD (file descriptor) 大概有三个, 分别是: 0: Standard Input (STDIN) 1: Standard Output (STDOUT) 2: Standard Error Outp

2017-08-18 10:17:14 903

转载 Linux Shell实现多进程并发执行

在bash中，使用后台任务来实现任务的“多进程化”。在不加控制的模式下，不管有多少任务，全部都后台执行。也就是说，在这种情况下，有多少任务就有多少“进程”在同时执行。我们就先实现第一种情况：实例一：正常情况脚本———————————————————————————–#!/bin/bashfor ((i=0;i{sleep 1;echo 1>>aa &

2017-08-18 10:16:58 56973 4

转载 shell脚本的几种不同执行方式的区别实验

shell脚本归结起来有三种执行方式，按执行时是否创建子shell可以分为两类。下面贴出我的测试脚本及测试结果。[plain] view plain copy#! /bin/bash cd echo "this shell's pid is $$" #打印执行脚本进程的pid #执行shell脚本方式可以分为两类

2017-08-18 10:16:45 954

转载 linux在终端下输入的"<"和“>"分别代表什么

简单说一下，标准输入 (stdin) ：代码为 0 ，使用标准输出 (stdout)：代码为 1 ，使用 > 或 >> 标准错误输出(stderr)：代码为 2 ，使用 2> 或 2>> 语法:"命令比如说:mail -s "test" linux@163.com

2017-08-18 10:16:36 755

转载 Linux exec与重定向

exec和source都属于bash内部命令（builtins commands），在bash下输入man exec或man source可以查看所有的内部命令信息。bash shell的命令分为两类：外部命令和内部命令。外部命令是通过系统调用或独立的程序实现的，如sed、awk等等。内部命令是由特殊的文件格式（.def）所实现，如cd、history、exec等等。

2017-08-18 10:15:50 736

转载 Linux中` `、$、$( ) 、${ } 有什么区别

$( )中放的是命令，相当于` `，例如todaydate=$(date +%Y%m%d)意思是执行date命令，返回执行结果给变量todaydate，也可以写为todaydate=`date +%Y%m%d`；${ }中放的是变量，例如echo ${PATH}取PATH变量的值并打印，也可以不加括号比如$PATH。$# 是传给脚本的参数个数$0 是脚本

2017-08-17 19:02:27 2844

转载 Linux 输出重定向>和>>的区别

> 是定向输出到文件，如果文件不存在，就创建文件；如果文件存在，就将其清空；一般我们备份清理日志文件的时候，就是这种方法：先备份日志，再用`>`，将日志文件清空（文件大小变成0字节）；>>这个是将输出内容追加到目标文件中。如果文件不存在，就创建文件；如果文件存在，则将新的内容追加到那个文件的末尾，该文件中的原有内容不受影响。

2017-08-17 18:54:03 1998

转载 linux命令执行返回值

在 Linux 下，不管你是启动一个桌面程序也好，还是在控制台下运行命令，所有的程序在结束时，都会返回一个数字值，这个值叫做返回值，或者称为错误号 ( Error Number )。在控制台下，有一个特殊的环境变量 $?，保存着前一个程序的返回值，我们可以试试：$ ls *.pngDiagram1.png eqn.png peazip.pngeqn4.

2017-08-17 18:41:29 3801

转载 Linux的管道命令竖线（|）

管道符号，是unix功能强大的一个地方,符号是一条竖线:"|"，用法: command 1 | command 2 他的功能是把第一个命令command 1执行的结果作为command 2的输入传给command 2，例如:ls -l | more该命令列出当前目录中的任何文档，并把输出送给more命令作为输入，more命令分页显示文件列表。又如 rpm -aq

2017-08-17 18:30:07 3475

转载 Linux:命令执行控制&&与||

这里就需要注意&&和||运算符。 A&&B，如果A=0，就没有必要继续执行&&B了；A非0，就需要继续执行&&B。 A||B，如果A非0，就没有必要继续执行||B了，A=0，就需要继续执行||B。1、&& 方式：command1 && command2 如果command1执行成功，则执行command2-rw-rw-r-- 1 k

2017-08-17 18:28:50 400

转载 Linux中fork（）函数详解

一、fork入门知识一个进程，包括代码、数据和分配给进程的资源。fork（）函数通过系统调用创建一个与原来进程几乎完全相同的进程，也就是两个进程可以做完全相同的事，但如果初始参数或者传入的变量不同，两个进程也可以做不同的事。一个进程调用fork（）函数后，系统先给新的进程分配资源，例如存储数据和代码的空间。然后把原来的进程的所有值都复制到新的新进程中，只有少数值与原来

2017-08-17 18:27:56 167

转载 linux进程控制－wait()

#include /* 提供类型pid_t的定义 */ #include pid_t wait(int *status) 进程一旦调用了wait，就立即阻塞自己，由wait自动分析是否当前进程的某个子进程已经退出，如果让它找到了这样一个已经变成僵尸的子进程，wait就会收集这个子进

2017-08-17 18:26:38 401

转载 linux下wait命令的使用小结

1.waitwait是用来阻塞当前进程的执行，直至指定的子进程执行结束后，才继续执行。使用wait可以在bash脚本“多进程”执行模式下，起到一些特殊控制的作用。2.使用格式wait [进程号或作业号]eg：wait 23 or wait %1备注：如果wait后面不带任何的进程号或作业号，那么wait会阻塞当前进程的执行，直至

2017-08-17 18:20:06 12165

转载 shell 脚本中的并发

主要记录一下Shell脚本中的命令的并发和串行执行。默认的情况下，Shell脚本中的命令是串行执行的，必须等到前一条命令执行完后才执行接下来的命令，但是如果我有一大批的的命令需要执行，而且互相又没有影响的情况下（有影响的话就比较复杂了），那么就要使用命令的并发执行了。看下面的代码：#!/bin/bash for(( i = 0;

2017-08-17 18:18:20 758

在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的执行是分阶段的，map处理数据量的差异取决于上一个stage的reduce输出，所以如何将数据均匀的

2017-08-17 11:27:54 252

hellojoy的博客