前段时间搭建hadoop集群做一些东西,积累了很多指令和一些调试经验,怕以后忘记,在这里做个备份,如果对大家有用,that's fine!
root 账户管理
su ->输入密码($->#) exit->exit->退出终端
安装中文输入法
1、root登陆
2、yum install "@Chinese Support"
3、System->preferences->input method
4、ctrl+space 开关输入法,切换输入法等都可以在preference里设置快捷键
ls/dir可以查看文件列表 ls -a 显示隐藏
可以先进入某个目录 右击进入终端
cd /目录
cd /home 进入home目录 cd .. 返回上一层目录 cd ../..返回上两层目录
关机(root)
shutdown -h now 关机
shutdown -r now 重启
logout 注销
date 显示系统日期
mkdir dir1 dir2
mkdir -p /tmp/dir1/dir2
rm -rf 目录名(删除非空) rm -rf dir1 dir2
rm -f file1
rmdir dir1
mv -rf dir1 new_dir 重命名
cp file1 file2
cp dir/* . 复制一个目录下所有文件到当前目录
cp -a dir1 dir2 复制一个目录
df -h 显示已经挂载的分区列表
ls -ISr|more 以尺寸大小排列文件和目录
du -sh dir1 估算目录‘dir1’已经使用的磁盘空间
du -sk *|Sort -m 以容量大小为依据依次显示文件和目录大小
user add user1
user del -r user1
usermod -c "user FTP" -g System -d /ftp/user1 -s /bin/nologin user1 修改用户属性
ls -lh 显示权限
chown user1 file1 改变一个文件的所有人属性
chmod go-rwx dir1 删除群组(g)和其他人(o)对目录的读写执行权限
linux两种软件
1、软件源代码-》tar.gz
2、软件安装程序包-》.rpm
tar -cjvf *.bz
tar -xzvf *.tar.gz
1)有configue 则# ./configue #make #make install
2)如果是makefile文件 #make #make install
3)如果是Imake file文件 #xmkmf #make #make install
对于.rpm 1、安装软件 rpm -ivh rpm包名
#rpm -ivh apache**.rpm
2、升级软件 rpm -uvh rpm包名
3、反安装 rpm -e rpm包名
rar a file rar test_file 创建一个叫做“file.rar”的包
rar x file1.rar 解压rar包
unrar e amp.rar
安装*.sh 和*.bin sudo在普通账户下使用root权限得修改/etc/sudoers文件才可以
*.sh=====>1、sudo sh *.sh 直接运行
2、sudo chmod +x *.sh
3、sudo ./*.sh 安装到任意有权限的目录
*.bin=====>1、sudo chmod +x *.bin
2、sudo ./*.bin
配置检验JDK
root #vi /etc/profile
export JAVA_HOME=JDK安装目录
export JRE_HOME=JRE安装目录
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
vi编辑器
编辑模式》》》》》
k,j,h,l上下左右箭头键 w指定行右移光标,到下一字符开头 ctrl+b =>pageup ctrl+f=>pagedown gg最上行 G最下行
rc,用c替换光标所指向的当前字符 5rc用c替换光标所指向的前5个字符 x删除光标所指向的当前字符 nx删除光标所指向的前n个字符
/str1正向搜索 ?str1反向搜索 n继续找下一个出现位置 e(在指定行右移光标,到下一个字末尾) 0数字0,右移光标,到本行的开头
$右移光标到本行的末尾 ^移动光标到本行的第一个非空字符 dd删除光标所在行,并去除空隙 ndd删除n行内容并去除空隙
u撤销前一条命令的结果 vi visual模式 v字符选中命令 V行选中命令 .重复最后一条修改正文的命令
插入模式》》》》》
编辑模式下输入i,a,I,A进入插入模式,退出插入模式按ESC,cd用输入的正文替换光标所在的行
命令模式》》》》》
编辑命令 :w保存 :q在未作修改的情况下退出 :q!放开所有修改退出编辑程序 :d删除光标所在的行 :3d删除3行
vi命令模式提供shell切换命令,无须退出vi,即可执行linux命令 :!command 执行完shell命令 command后回到vi。
恢复文件 修改时产生以.开头并以.sup结尾的临时文件。若意外退出且没有保存修改文件内容,可用恢复命令:recover也可以在启动vi时利用-r选项
vim vi+特色功能,window版本工具等---gvim echo $ARGS 用来显示环境变量
bc 计算器 clear清屏 reset重复终端
shell和vim切换::::
长时间离开vim--》用:shell或:sh,用exit或ctrl+D回到编辑器
短时间离开vim--》用:!command命令运行结束后,自动回到vim编辑器,然后按ENTER返回。
find /-name 文件名 chmod +x 文件名 start-all.sh ./start-all.sh
破解linux用户名和密码
开机linux 按e,选第二项按e,添加(空格+1)或(空格+single)回车,按b进入root,设置root密码,exit。以其他账户登录root,密码为设置的新密码,修改当当前用户密码 passwd currentuser
查看ip地址:ifconfig
查看端口监听:netstat -nap|grep 9000
安装open office下载tar.gz 1. tar -xvzf ***.tar.gz 2.cd RPMS 3.rpm -ivh *.rpm 4.cd Desktop_integration 5. 选择相应版本安装第一个free版本就可以。
uname -r 查看内核版本(NTFS支持)
1、下载kernel_2.6.32_71.e16.i686.rpm
2、rpm _ivh ***.rpm
3、运行/sbin/modprobe ntfs 加载内核模块(无输出)
4、运行dmesg|grep NTFS 查看NTFS驱动版本
5、cat /proc/filesystems 出现
nodev
ext3
nodev rpc_pipefs
nodev outofs
vfat
ntfs
yum install gcc wget UKL cd ./configue make make install
mv file folder rm -f -r file
安装VM-tools 1、需要查看虚拟机设置,将CD/DVD改成自动检测,使用物理驱动器下载完就会进入
2、需要先copy出来,不能直接在CDROM中解压
3、如果需要Perl,需要yum install perl
4、./vmware -install.pc
======================================hadoop===================
hadoop指令
程序的输出目录一般不能存在,除非设置覆盖为true。
运行hadoop程序 haddop jar /usr/opt/SingerIntegers_fat.jar wcin wcout
hadoop jar /usr/opt/MakeIntegersFile_fat.jar (必须用hadoop指令不能用hdfs指令)
首先将jar包复制到/usr/opt目录下
1、删除hadoop上指定目录和文件 hadoop fs -rmr /user/t
hadoop fs -rm /user/ok.txt
2、将hadoop上某个文件down至本地已有目录下
hadoop fs -get /user/ok.txt /home/t
3、查看指定目录下的内容 hadoop dfs -ls /user/wangkai.txt
4、打开某个已存在文件 hadoop dfs -cat /user/wangkai.pt/data.txt
5、将本地文件存储至hadoop hadoop fs -put /home/file.txt /user/t
6、将本地文件夹存储至hadoop hadoop fs -put /home/dir_name /user
7、在hadoop指定目录内创建新目录 hadoop fs -mkdir /user/t
8、在hadoop指定目录下创建空文件,使用touchz命令hadoop fs -touchz /usr/new.txt
9、将hadoop上某个文件重命名 hadoop fs -mv /usr/test.txt /usr/test.txt
10、将hadoop指定目录下所有内容存为一个文件,同时down至本地 hadoop dfs -getmerge /user /home/t
11、将正在运行的hadoop作业kill掉 hadoop job -kill [job-id]
安全模式::离开安全模式 bin/hadoop dfsadmin -safemode leave
NameNode启动首先进入安全模式,如果datanode丢失的block达到一定的比例(1-dfs.safemode.threshold.pct),则系统一直处于安全模式状态即只读状态
dfs.safemode.threshold.pct(缺省0.999f)表示HDFS启动的时候,如果DataNode上报的block个数达到了原数据记录的block个数的0.999倍+时,可以离开安全模式,如果设为1,则HDFS一直处于安全模式。有两个方法离开安全模式:
1、修改dfs.safemode.threshold.pct 为一个比较小的值,缺省0.999
2、hadoop dfsadmin -safemode leave 命令强制离开
用户可以通过dfsadmin -safemode value 来操作安全模式,参数value说明如下: enter 进入安全模式 leave 强制NameNode离开安全模式
get 返回安全模式是否开启的信息 wait 等待,一直到安全模式结束
linux下面的SELINUX相当于windows下的内部防火墙,目的在于明确指明某个进程可以访问哪些资源,对系统服务、文件权限、网络端口访问有极其严格的限制,例如,如果对一个文件没有正确安全上下文配置,甚至你是root用户,也不能启动某服务。
查看防火墙状态 /etc/init.d/iptables status /sbin/chkconfig --level 2345 iptables off
暂时关闭防火墙 /etc/init.d/iptables stop
重启iptables: /etc/init.d/iptables restart
netstat -ano|grep 9000
lsof -i :9000
输入mr-jobhistory-daemon.sh start historyserver 不需要再花时间重连服务器
如果发现系统支持IPV6 hadoop会启用IPV6,在hadoop-env.sh中添加一句:
HADOOP_OPTS=-D java.net.preferIPV4Stack=true
hadoop启动出现问题,先去修改/etc/hosts 将127.0.0.1 localhost删掉整行
运行别人写的程序或者示例程序时,一般会有包名,自己写的当然有些时候也会有,这时需要注意命名空间
hadoop jar /usr/opt/wordcount_fat.jar gucas.Ikl.Simple.WordCount wcin/search.log wcout
hadoop 默认按key升序排序