2014年08月_三劫散仙

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

CentOS6.5下使用rsync增量同步备份文件

[b][size=large]rsync是linux下一款文件同步工具，介绍如下：Rsync是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件。Rsync本来是用以取代rcp的一个工具，它当前由 rsync.samba.org维护。Rsync使用所谓的“Rsync演算法”来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此...

2014-08-29 18:57:26 241

Python3.4内置函数

[color=green][size=large]Python的类库直到现在已经非常丰富，提供了各个不同服务使用的接口，具体介绍如下：1. Python类库包含了非常多的组件，数据类型部分构成了python语言核心的一部分，例如数字和列表(List),对于这些类型，python语言在语义的层面上定义了这些字面形式，但并不是完全的定义，这些核心包也包含了一些内置函数和异常部分，对象可以使...

2014-08-28 21:34:07 156

跟散仙学shell编程(十五)

上篇文章，散仙简单介绍了，如何在Linux下以shell脚本的方式与MySQL交互，本篇，我们来用shell脚本编写几个有用的实战例子第一个脚本检测磁盘空间的top5我们先看下du 命令统计：[code="java"][search@h1 ~]$ du -s hadoop/*296 hadoop/bin230156 hadoop/dddir132 ...

2014-08-27 21:24:08 110

跟散仙学shell编程(十四)

上篇散仙简单介绍了linux里面各个shell类型的使用，本篇我们来看下如何在shell里面使用数据库mysql，关于mysql的安装可以参考散仙以前的文章：[url]http://qindongliang.iteye.com/blog/1987199[/url]下面看下如何在脚本里面使用mysql数据库：首先我们使用which命令，找到mysql的启动路径[code="jav...

2014-08-26 20:59:41 123

原创几个不错的linux命令

[b][size=large]主要内容：sort命令、uniq命令、join命令、cut命令、paste命令、split命令、tr命令、tar命令sort 命令：Linux的sort命令就是一种对文件排序的工具，sort命令的功能十分强大，是Shell脚本编程时常用的文件排序工具；sort命令与awk一样，将文件看作记录和域进行处理，默认的域分隔符是空格符，sort命令的格式为：s...

2014-08-26 14:30:18 146

Linux文件分割与合并

[b][color=green][size=large]Linux里面提供了，许多简洁的shell命令，而这些命令不仅简洁，而且作用十分强大，散仙今天要与大家分享的是关于在linux里面如何拆分，分割文件，和如何合并文件，当然在文章末，还会记录一下，另外几个有用的命令。[/size][/color][/b][b][color=olive][size=large]关于文件分割最有用的命令就是...

2014-08-26 13:37:56 151

跟散仙学shell编程(十三)

上篇散仙主要了讲述了gawk进阶的一些用法，本篇我们来了解下载linux中，其他的shell类型，通常情况下，我们最常用的就是bash shell，除此之外，我们还可能遇到另外2个shell类型，dash shell和zsh shell，我们并不需要深入探究，只需要简单了解即可。dash shell是ash shell的后代因其，并没有多少高级功能，所以并不能作为交互式的shell，而...

2014-08-25 20:02:37 133

价值10K+的Linux面试题，你敢来试一试么？

[b][color=green][size=large]题目是散仙在别的网站上收集的，大家可以试试，欢迎讨论与分享，看看你自己可以回答出多少道？ :D [/size][/color][/b][b][size=x-large]1、Linux挂载Winodws共享文件夹2、查看http的并发请求数及其TCP连接状态：3、用tcpdump嗅探80端口的访问看看谁最高...

2014-08-25 11:45:33 131

Linux重要监控命令

[color=green][size=large]本篇是有关Linux监控的几个不错的命令，是散仙在51CTO上收集的，文末会附上原文链接，下面来看下具体每个命令的作用：[table]|序号|命令|描述|1|iostat|iostat命令显示的是你的存储系统的细节状态，通常用来检测磁盘的IO负载|2|meminfo|cat /proc/meminfo meminfo...

2014-08-25 11:20:51 122

跟散仙学shell编程(十二)

上篇文章散仙写了关于sed进阶，本篇我们来看下在linux中另外一种非常强大的文本处理语言gawk，有关于gawk的基础，散仙在前2篇文章，也有介绍，不熟悉的朋友，可以再回顾下。gawk是一门功能丰富的编程语言，允许你通过编写高级程序来处理数据，只要我们有其他编程语言的经验，不管死JAVA，C#,Python,shell还是javascript，入手gawk都会感到非常亲切和容易。...

2014-08-22 21:27:27 187

跟散仙学shell编程(十一)

上篇散仙写了关于shell里面正则的基础知识，本篇我们来特意学习下sed的高级用法。在前面散仙也写过关于sed的基础用法，如果不熟悉的，可以看散仙的前2篇博客温习一下。sed进阶里面有sed的高级用法，使用sed来处理多行命令，下面我们来看下sed里面特殊的命令：N：将数据流中的下一行加进来来创建一个多行组来处理D：删除多行组中的一行P：打印多行组中的一行next命...

2014-08-21 21:45:19 149

跟散仙学shell编程(十)

上篇文章，散仙简单介绍了在linux中，使用sed和gawk编程的基础，本篇我们来复习下在正则表达式，当然不仅仅在我们的shell里面有正则，各个编程语言里面都有正则这一处理字符文本的神器。在shell里面到处可见正则的身影：[code="java"][search@h1 820]$ ll总用量 0-rw-rw-r-- 1 search search 0 8月 21 02:4...

2014-08-20 21:22:26 140

跟散仙学shell编程(九)

上篇散仙说了如何在linux里面构建更好的交互式shell，本篇来看下linux里面的文本处理工具sed和gawk，在linux里面最常用的就是这两个命令。sed编辑器是一个流编辑器，与vim交互式的编辑器不同，sed编辑器需要提前提供一组规则来编辑数据流。sed的命令格式如下sed options script file(1) -e script 在处理输入时，将script...

2014-08-19 21:49:02 155

跟散仙学shell编程(八)

上篇散仙说了linux里面函数的使用，本篇我们来看下如何在shell编写一些简单的shell交互编程，看下散仙写的一个小shell的demo类似JAVA控制台下的编程：[code="shell"][search@h1 818]$ cat menu.sh function wec { echo "welcomeaaa"; }function dis { cle...

2014-08-18 21:50:58 140

原创 Linux命令大全

[size=medium]系统信息 arch 显示机器的处理器架构(1) uname -m 显示机器的处理器架构(2) uname -r 显示正在使用的内核版本 dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI) hdparm -i /dev/hda 罗列一个磁盘的架构特性 hdparm -tT /dev/sda 在磁盘上执行测试性读取操作 c...

2014-08-18 10:27:43 98

跟散仙学shell编程(七)

上篇散仙在文章里描述了如何处理linux信号和脚本控制，本节我们来看下，如何在linux使用基本的脚本函数，等一些shell的高级用法！在JAVA里，我们经常在类里面使用方法，正因为类的出现，才使JAVA为面向对象编程，在shell里面虽然没有类的高级特性，但是，基本的函数编程还是存在的。在linux里面定义方法或函数的两种形式：一：function name{ ...

2014-08-15 21:46:52 130

跟散仙学shell编程(六)

上篇介绍了linux里面的处理数据的方式，本篇散仙来说下，如何在linux里面控制脚本的执行。在linux里面我们最常遇见的几个linux信号如下：[table]|序号|信号|值|描述|1|1|sighup|挂起进程|2|2|sigint|终止进程|3|3|sigquit|停止进程|4|9|sigkill|无条件终止进程|5|15|sigterm|可能的话终...

2014-08-14 21:53:08 168

跟散仙学shell编程(五)

上一篇写的是处理用户输入，本篇散仙要写的是linux里面的标准输入，输出，以及文件描述符的使用。linux系统将每个对象当做文件来处理，这包括输入和输出的过程，linux用文件描述符来标识每个文件对象，文件描述符是一个非负整数，可以唯一的的标识会话中打开的文件，每个过程最多可以有9个文件描述符，linux系统默认占用了0，1，2三个文件描述符[table]|序号|文件描述符...

2014-08-13 21:41:55 132

跟散仙学shell编程(四)

上篇介绍了for循环命令的使用，本篇的shell学习，我们来看下如何在shell环境下处理用户的输入，我们可以向运行的shell从外部传入一些参数，通常情况下$0是程序名$1是第一个参数$2是第二个参数依次类推知道第9个参数$9第9个之后需要${10}以此，至无限的 [code="java"][search@h1 812]$ cat a.sh e...

2014-08-12 21:46:45 121

使用MapReduce并行构建Lucene索引

[b][color=green][size=large]散仙前几篇博客上，已经写了单机程序使用使用hadoop的构建lucene索引，本篇呢，我们里看下如何使用MapReduce来构建索引，代码如下：[/size][/color][/b][code="java"]package com.mapreduceindex;import java.io.IOException;impo...

2014-08-12 19:17:42 548

跟散仙学shell编程(三)

散仙在上一篇文章里写了关于如何使用if-else以及case等流程控制的用法，本篇呢，来看下如何在shell里面使用更多的结构化命令，那么就是我们的循环了。在shell里面基本的for循环的命令格式:for var in listdo commandsdone[code="java"][search@h1 fortest]$ cat t1.sh fo...

2014-08-11 21:38:55 193

跟散仙学shell编程(二)

散仙本篇主要讲在shell里面的流程控制，流程控制是所有的编程语言里面必不可少的一部分，通过流程控制，可以使我们的程序更加灵活。下面我们来看看如何在shell里面使用if else流程控制语句，shell里面的流程控制语句比较特殊的其他的编程语言里，比如JAVA，都是通过一个boolean的值，来判断是否通过某个流程，在shell里面，却是通过shell执行命令的状态码来识别的，返...

2014-08-08 21:33:19 133

跟散仙学shell编程(一)

前面散仙已经把Linux基础的shell命令系列的博客完工，如果没有任何linux基础的朋友，建议先从shell命令开始学习，如果有一定基础的就可以直接跳过。从本篇起，散仙要写的是关于shell编程系列的知识。前面我们例子里面的命令，基本都是单个执行的，但是在linux下，只有把命令组合成一个脚本，发挥的作用，才是巨大的，这就类似于一个砖头没啥用处，但是用很多砖头，我们就可以盖一座大厦...

2014-08-07 21:36:56 121

Hadoop2.2.0+Hive0.13+Hbase0.96.2集成

[b][color=green][size=large]本篇，散仙主要讲的是使用Hive如何和Hbase集成，Hbase和Hive的底层存储都在HDFS上，都是hadoop生态系统中的重要一员，所以他们之间有着很亲密的联系，可以相互转换与操作。hadoop，hbase和hive的搭建就不重复说了，不会的朋友，可以看散仙前面的博客，下面直接进入重点，关于hive集成hbase这一块，网上...

2014-08-06 20:49:48 140

跟散仙学shell命令（八）

本篇是散仙shell命令篇的最后一篇博客（后阶段会写shell编程系列）主要讲在shell命令下，如何使用vim编辑器，来快速操作文本文件，这一点也很重要，实际开发中，要经常操作各种文本文件，xml，等等。linux系统里面有好几种编辑器，vim简称（Vi Improved）是linux系统中比较常用的一种文本编辑器，其他的还有Emacs，KDE，Gnome等。鉴于Vi编辑器，使用的比...

2014-08-06 18:49:45 132

跟散仙学shell命令（七）

本篇主要写关于Linux的文件系统的管理，在使用linux时，我们需要决定我们的系统的存储设备用什么文件系统，安装linux发行版时，会提供一个默认的文件系统，散仙在虚拟机里面安装的系统，一般都是ext4的系统作为默认的系统。linux提供了一些不同的工具，可以让命令行下操作文件系统更方便，我们可以通过shell命令来轻松的创建新的系统和修改已有的文件系统。1，创建一个分区...

2014-08-05 19:52:06 242

跟散仙学shell命令（六）

继上篇散仙写的Linux下环境变量的配置与使用，本篇散仙要写的，依旧是一个非常普遍与常用的功能--Linux下的文件权限，以及用户的管理和一些文件系统管理的命令。缺乏安全性的系统不是完整的系统，系统上必须要有一套傲虎文件不被非授权用户访问或修改的机制，Linux沿用了Unix文件权限的办法，即允许用户和组基于每个文件和目录的一组安全性设置来访问文件，这也是大多数情况下我们为什么会选择L...

2014-08-05 17:58:20 129

Eclipse+JDBC远程操作Hive0.13

[b][color=olive][size=large]在前几篇的博客里，散仙已经写了如何在Liunx上安装Hive以及如何与Hadoop集成和将Hive的元数据存储到MySQL里，今天散仙就来看下，如何在Eclipse里通过JDBC的方式操作Hive.我们都知道Hive是一个类SQL的框架，支持HSQL语法操作Hive，而Hive内部，会转成一个个MapReduce作业来完成具体的数据统...

2014-08-04 20:45:15 178

跟散仙学shell命令（五）

今天散仙，要说的，是关于linux中的环境变量的使用，环境变量是用来存储有关shell会话和工作环境的信息，它允许在内存中访问存储数据，以便运行在shell上的程序和脚本访问。在最常用的bash shell里，环境变量共分为二大类，一类是全局变量，另一类是局部变量。全局变量：不仅对shell会话，可见，而且对所有的shell创建的子进程也可见。局部变量：只对创建他们的she...

2014-08-04 18:45:03 249

跟散仙学shell命令（四）

本篇主要讲述命令如下，排序命令，搜索数据命令，压缩命令，解压缩命令，这几个命令在实际的使用中，使用的非常频繁。（1），排序命令sort[code="java"][search@h1 ~]$ cat a.txt azbd[search@h1 ~]$ [/code]使用排序后，sort a.txt[code="java"][search@h1 ~]$ sor...

2014-08-01 21:46:54 131

跟散仙学shell命令(三)

本篇散仙主要讲一些，linux进程的管理，磁盘信息统计，CPU,内存等命令，非常实用。实际开发中，linux系统的情况，能直接反映服务器运行的信息，cpu负载，内存占用，磁盘等等，所以掌握这些命令，有助于我们更快更专业管理linux系统。（1），ps命令，探查系统进程。[code="java"][search@h1 ~]$ ps PID TTY TI...

2014-08-01 21:17:41 172

跟散仙学shell命令(二)

（1）rm删除命令，删除文件或目录 rm -rf source ，如果想删除某个目录下所有文件，使用命令rm -rf * ，这是一个非常谨慎的操作，删除后就无法恢复了，尽量不要使用root用户操作这个命令。[code="java"][root@h1 ~]# man rm RM(1) User Commands ...

2014-08-01 20:31:45 204