soldier_programmer-CSDN博客

原创 shell脚本字符串分割的几种方法

方法1：${字符变量名:start:length} -----start从0开始var="abcdefg"echo ${var:0:5}结果abcde方法2：expr substr $字符变量名 start length -----start从1开始var="abcdefg"expr substr $var 1 5结果abcde方法3：cut -b start-

2013-08-29 01:51:21 2581

原创 shell脚本表达式计算命令bc和限定计算结果小数位数

bc命令可以计算以字符串形式存在的表达式在表达式前加上scale=小数位数; 可以限定计算结果的小数位数，例如$echo "scale=2;10/3" | bc3.33

2013-08-29 01:38:03 2214

原创 shell脚本中蛮量替换(将命令运行结果存入变量中)

蛮量替换的含义可以用程序设计中如下两句进行理解，即将运算操作和赋值操作合到一起temp=1+3sum=temp具体实现有两种方法1、$(command),例如for i in $(seq 3)echo ${i}done结果如下:123seq 3命令是产生1 2 3这一序列2、`command``是反撇号，键盘上数字1左面的那个键

2013-08-27 23:36:23 1795

原创 shell脚本重定向>>, >, 2>>, 2>, &>, &>>

首先>>和>的区别在于>是覆盖原文件，>>是以追加的方式写入文件1、>和>>用于将标准输出重定向到文件中2、2>和2>>用于将标准错误输出重定向到文件中3、&>和&>>将标准输出和标准错误输出都定向到文件中

2013-08-27 23:30:19 1561

原创 shell脚本使用read命令从terminal读入数据

read -p "提示：" 参数1 参数2使用方法如上，例如：$read -p "what's your name and age?" name age$what's your name and age?LDH 18$echo ${name}$LDH$echo ${age}18

2013-08-27 23:12:52 1666

原创 shell脚本文件的三种执行方式

shell脚本的执行方法有3种1、直接运行直接执行脚本文件名(以在当前目录为例)$./test.sh有时由于文件没有可执行权限，需要赋予其可执行权限$chmod +x test.sh2、sh或bash命令 + 要执行的脚本文件名$sh test.sh$bash test.sh3、source命令 + 要执行的脚本文件名$source test.sh

2013-08-27 23:00:01 1720

原创远程操作linux网络设置（六）- VNC安装配置Ubuntu(vnc4server )和CentOS(tigerVNC)

Windows有远程桌面连接，在使用linux时如果也想使用类似的图形化界面访问，vnc是一个比较好的解决方案。在客户端需要下载一个工具：推荐vnc-viewer，下载地址：http://www.realvnc.com/download/viewer/在服务器的配置如下：Ubuntu系统使用vnc4server，如下#安装$sudo apt-get install vnc4se

2013-08-19 22:39:42 3644

原创 ubuntu搭建可匿名访问ftp服务器

在日常工作中，大家有时候会遇到需要临时搭建一个供自己使用的ftp服务器，除去安全性考虑，可匿名登录为后续程序访问提供方便。下面介绍使用vsftpd(very secure FTP daemon)完成这一任务。安装$sudo apt-get install vsftpd新安装的vsftpd默认是可以匿名不需要密码直接访问。安装程序会给本地创建一个名为“ftp”的用户组，命令执行完之后会自

2013-08-19 22:20:23 2282

原创 ubuntu查看所有用户/用户组

1、查看所有用户组$cat /etc/groupssl-cert:x:110:postgres最前面一个字段ssl-cert是用户组名，最后一个字段postgres是用户名2、查看所有用户$sudo cat /etc/shadowpostgres:$6$m8anDHdE$FDY4j0CdAbgeLOM90EH1xCW/IMqHEZwM87sepyHHjUYccdmFOCVaFeal

2013-08-19 22:07:35 97980

原创 Java中Scanner使用解决读入数据问题

Java没有C那么好用的scanf确实另人很不爽，之前使用Java输入数据时采用读入一行再用String.split()进行解析的方法，比较麻烦，直接发现了Scanner。使用方法如下：Scanner s = new Scanner(System.in);String str = s.next(); //读入stringInteger i = s.nextInt();//读入Interge

2013-08-10 23:26:22 1282

原创 java容器（持有对象方式）小结

最近在写数据抓取程序时使用到了stack、queue、map等，边写边看了《Java编程思想》第11章持有对象，针对不同的应用需求使用不同的数据结构才会让自己写的程序可用性和效率都得到增加，自己的一些使用总结和书中总结如下。1、我对容器使用的动机是其在定义时不用指定其大小，由java自动调整其尺寸。这也是相对于数组而言的最大的不同，当然容器还有很多减少编程工作量的方法。2、Coll

2013-08-10 22:50:36 738

原创 linux集群批量管理工具parallel-ssh(pssh)的安装与使用

使用pssh的动力源自实验室的测试项目，需要搭建一个200余台机器的集群，前期是32台机器的小集群，hadoop软件列表中的第一个。起初我自认为装个hadoop集群，改改配置文件，重复32次就完事儿了，工作量也不是很大。但随机测试的推移，我发现，每当需要更改一个参数需要把一个操作重复执行几十次是多么另人崩溃的一件事儿。pssh这种神器真是管理集群必备！！下面是pssh的安装

2013-08-08 23:49:14 1998 1

原创远程操作linux网络设置（五）-ssh登录慢有延迟问题的解决

大家都有这种感觉，在刚开始使用一台机器ssh到另一台机器时，经常发现会有很长时间的等待(至输入密码)，这个问题可能有两方面原因。1、客户端参考http://blog.csdn.net/bhq2010/article/details/9242367默认情况下，UseDNS选项是打开的，当客户端连接ssh服务器时，ssh服务器会根据客户端的ip地址RTR反向查询客户端的hostname，然

2013-08-06 23:32:32 2139

原创远程操作linux网络设置（四）-ssh配置

ssh 分客户端openssh-client和服务端openssh-serveropenssh-client一般系统自带，如果没有可以使用apt或yum安装,这里主要讲服务器端配置Ubuntu安装 OpenSSH Server命令sudo apt-get install openssh-serverCentOS安装OpenSSH Server命令sudo yum install

2013-08-06 23:16:43 717

原创远程操作linux网络设置（三）-查看实时网速

工具一：slurm安装sudo apt-get install slurm (ubuntu系统)查看网速命令slurm -i eth0 (etho为网卡名)工具二：nloadubuntu的安装可以使用apt进行，其他系统安装过程如下wget http://www.roland-riegel.de/nload/nload-0.7.2.tar.gzta

2013-08-05 10:43:16 2133

原创远程操作linux网络设置（二）-设置代理服务器 squid

上一篇说到如何设置客户端机器（即没有连接互联网，只连接内网）通过代理服务器连接互联网。当然，前提是知晓如何获取或者设置一个可达且可连接互联网的“服务器端”。在服务器端，我们使用一款叫作squid的软件，下面贴上一段百度百科关于squid的介绍。Squid cache（简称为Squid）是一个流行的自由软件（GNU通用公共许可证）的代理服务器和Web缓存服务器。Squid有广泛的用途，从作为

2013-08-04 23:32:52 1228

原创远程操作linux网络设置（一）-通过代理服务器上网

对linux服务器的操作基本上都是通过ssh远程操作，写这一系列博客的目的就是为了有人遇到相同问题时能快速解决，也可以为自己翻看备查。言归正传，身处校园，实验室机房内服务器都是内部网络，无法连接互联网，很多需要联网的实验无法完成，只能自己想办法。比较实际的处理办法是将可以上网的机器（当然是同时连接内网和互联网的机器）设为代理服务器，本文讲述内容为如何在无法联网的机器上（我称之为客户端机器）设置

2013-08-04 20:22:44 4369 1

原创 Muppet: MapReduce-Style Processing of Fast Data笔记

文中提出一个类MapReduce框架MapUpdate，根据这个计算框架实现了Muppet系统，文中分别介绍了1.0和改进版本2.0。1. Motivation“fast data”(文中使用，从其例子中看，实质上与流数据基本等同)的处理需求与日俱增，如传感器数据、股票数据和社交媒体数据等，MapReduce框架不适合做实时的数据处理。文中在列举了多个应用场景，包括Foursquare

2013-03-05 00:00:27 1209 2

原创用VMware虚拟机搭建Hadoop集群和Storm集群

最近试着搭建Hadoop集群和Storm集群，先在虚拟机上做个实验。Storm的安装步骤见Github上提供的安装文档: https://github.com/nathanmarz/storm/wiki/Setting-up-a-Storm-cluster 各系统版本：VMwareWorkstation 9.0.0ubuntu-12.04.1-desktop-i386h

2013-02-19 22:39:27 1204

soldier programmer