linux 命今

ps -ef|grep tomcat

Telnet模拟HTTP请求

1 .telnet 127.0.0.1 

2. GET / HTTP /1.1          ///GET HTTP这个必须大写

3.二次回车

 

注http前后都有空格 

 

lsof -i:8080

 

kill -9 

 

tail -fn 500 catalina.out

 

 

ssh tommail@xxx.xx.137.212#22

 

 

ssh tommail@xxx.xx.137.211#22

 

 

rsync -av  maili0 tommail@xxx.xx.137.212#22:/data/tomwebmail/mailbeta/

 

 

rsync -av tommail@xxx.xx.141.189#22:/data/tomwebmail/mailbeta/maili0 .

 

scp -r root@192.xxx.xx.10:/root/ /home/administrator/Desktop/new/

 

scp 当前目录，源目录

 

远程拷到本地

scp tommail@172.xxx.xx.212:/usr/local/apache/modules/mod_jk.so .

 

scp -P 8888  mod_jk.so web@172.xxx.xx.206:/tmp

 

ln -s /home/webmail/version/tomwebmail-1.3.2.war tomwebmail.war

 

bsdfind . -name "*.*" -type f|xargs -n100 grep "last contact" > c:/test.

 

查看cpu

 

lsb_release  

uname -a 

 

netstat -natp|grep LISTEN

 

 

find -name 要替换文件内容的文件名 | xargs perl -pi -e 's|被替换的字串|替换的字串|g'

find -name myc.txt | xargs perl -pi -e 's|mysex|sex|g'

 

 

hadoop

 

bin/hadoop dfsadmin -report  

 

1.如果改新了配置文件，要把data册除，再format.

 

查看linux下用户组  etc/group

Linux系统的一些帐号，请查看 /etc/passwd 

 

bin/hadoop  namenode  -format

* start-all.sh 启动所有的Hadoop守护。包括namenode, datanode, jobtracker, tasktrack

* stop-all.sh 停止所有的Hadoop

* start-mapred.sh 启动Map/Reduce守护。包括Jobtracker和Tasktrack

* stop-mapred.sh 停止Map/Reduce守护

* start-dfs.sh 启动Hadoop DFS守护.Namenode和Datanode

* stop-dfs.sh 停止DFS守护 

查看当前文件系统状态

./bin/hadoop dfsadmin -report  

 

./bin/hadoop dfs -help 

 

./bin/hadoop dfs -mkdir grepin

 

./bin/hadoop dfs -put /tmp/tmp_miao/test.txt grepin

 

./bin/hadoop dfs -lsr grepin

 

动态加入datanode

 

 

本帖最后由 fiberlijun 于 2009-11-19 17:11 编辑

 

 

磁盘错误，心跳和重新备份

 

每个datanode周期性发送心跳信息给namenode。网络中断可能会导致一批datanode连不上namenode。

namenode检测到一段时间没有上报心跳后，把这个datanode标识为dead，不再分配新的io请求给它。

在这个datanode上的所有数据都不能访问了，这就会导致一些block的备份数量会少于指定的值

。namenode会经常检查block备份数量，发起重新备份。

 

Rebalancing

 

检查某个datanode的硬盘容量低，会自动把数据移到另外的datanode。（这个特性还在开发中）

 

元数据磁盘错误

 

FsImage和EditLog是HDFS的核心数据结构。这些文件损坏会导致HDFS失效。namenode可以配置支持多份元数据拷贝。

 

 

我在FAQ中找到了如何在集群中增加机器，而不需要重启集群 

操作如下： 

首先，把新节点的 IP或主机名 加入主节点（master）的 conf/slaves 文件。 

然后登录新的从节点，执行以下命令： 

$ cd path/to/hadoop 

$ bin/hadoop-daemon.sh start datanode 

$ bin/hadoop-daemon.sh start tasktracker 

 

然后就可以在namanode机器上运行balancer，执行负载均衡 

$bin/hadoop  balancer

 

bin/hadoop dfsadmin -refreshNodes

 

附带说一下 -refreshNodes 命令的另外三种用途：

2. 添加允许的节点到列表中（添加主机名到 dfs.hosts 里来）

3. 直接去掉节点，不做数据副本备份（在 dfs.hosts 里去掉主机名）

4. 退服的逆操作——停止 exclude 里面和 dfs.hosts 里面都有的，正在进行 decomission 的节点的退服，也就是把 Decomission in progress 的节点重新变为 Normal （在 web 界面叫 in service)

 

 

拷贝:  yyp

到最后一行:shift + g

 

!x 保存并退出

/etc/ld.so.conf共享库

 

dpkg -l|grep zlib

 

./configure --prefix=/usr/local/apache /

--with-mpm=worker /

--enable-mods-shared=all /

--enable-so /

--enable-most /

--enable-max  /

--enable-rewrite=shared /

--enable-speling=shared /

--enable-deflate=shared /

--enable-cache=shared /

--enable-file-cache=shared /

--enable-proxy=shared /

--enable-cache /

--enable-disk-cache /

--enable-mem-cache /

--enable-file-cache /

--enable-proxy-ajp=shared  /

--enable-proxy-balancer=shared

 

 

:set nu

 

 

./ttserver -host 0.0.0.0 /

-port 20001 /

-mhost 172.24.xxx.xx /

-mport 20001 /

-rcc -rts /usr/local/tt_ulogs/ts01.rts /

-dmn -pid /var/run/tt.pid /

-log /var/logs/tt.log /

-le -ulog /usr/local/tt_ulogs /

-ulim 256m /usr/local/tt_data/data.tct#bnum=100000000

 

 

./ttserver -host 0.0.0.0 /

-port 20001 /

-mhost 172.24.202.206 /

-mport 20001 /

-rcc -rts /usr/local/tt_ulogs/ts01.rts /

-dmn -pid /var/run/tt.pid /

-log /var/logs/tt.log /

-le -ulog /usr/local/tt_ulogs /

-ulim 256m /usr/local/tt_data/data.tct#bnum=100000000

 

 

 

header:

curl -I http://127.0.0.1:9088/cgi-bin/md_web_func1.fcgi?uid=testcgi@xxx.com

body:

curl  http://127.0.0.1:9088/cgi-bin/md_web_func1.fcgi?uid=testcgi@xxx.com

 

 

 

mail:

A04 FETCH 1:* UID

 

发邮件： telnet 

root@mx252:~# telnet 127.0.0.1 25

Trying 127.0.0.1...

Connected to 127.0.0.1.

Escape character is '^]'.

220 mx252.localdomain SMTP version (1.1.1032)

d

502 5.5.2 Error: command not recognized

ehlo localhost 

250-mx252.localdomain

250-PIPELINING

250-SIZE 50000000

250-VRFY

250-ETRN

250-AUTH PLAIN LOGIN

250-ENHANCEDSTATUSCODES

250-8BITMIME

250 DSN

mail from:hello@o.mail.xxx.com

250 2.1.0 Ok

rcpt to:neatguo@gmail.com

250 2.1.5 Ok

data

354 End data with <CR><LF>.<CR><LF>

test

.

250 2.0.0 Ok: queued as 7E900FC25DB5

 

 

在252主机上tunnel

ssh -CPfN -o TCPKeepAlive=yes -R 9999:127.0.0.1:3306 web@xxx.xx.202.207 -p 8888

 

 ssh -CPfN -oTCPKeepAlive=yes -R 9999:127.0.0.1:3306 web@xxx.xx.202.207 -p 8888

 

 

 

 

几个常用用例：

 

1.导出整个数据库

 mysqldump -u 用户名 -p 数据库名 > 导出的文件名    

 mysqldump -u wcnc -p smgp_apps_wcnc > wcnc.sql

2.导出一个表

 mysqldump -u 用户名 -p 数据库名 表名> 导出的文件名

 mysqldump -u wcnc -p smgp_apps_wcnc users> wcnc_users.sql

3.导出一个数据库结构

  mysqldump -u wcnc -p -d --add-drop-table smgp_apps_wcnc >d:/wcnc_db.sql

 

 

 

vi -d source/ovi.pdf ovi5.pdf