hadoop、spark学习中常用的linux命令

5 篇文章 0 订阅
2 篇文章 0 订阅
    设置服务开机启动:chkconfig 服务名 on
    值得注意的是,如果这个服务尚未被添加到 chkconfig 列表中,则现需要使用 --add 参数将其添加进去:chkconfig --add 服务名
    查询当前所有自动启动的服务,可以输入chkconfig --list
1 IP 查看 ifconfig ,若未配置环境变量,则执行: /sbin/ifconfig

2 wget  下载路径: linux 系统下资源下载

3 中文乱码问题:修改路径 /etc/sysconfig/i18n ,修改内容为:
LANG= "zh_CN.GB18030"   
LANGUAGE= "zh_CN.GB18030:zh_CN.GB2312:zh_CN"   
SUPPORTED= "zh_CN.GB18030:zh_CN:zh:en_US.UTF-8:en_US:en"   
SYSFONT= "lat0-sun16"  

4 更改主机名:修改路径 /etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME= master
修改路径: /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1                 master master
::1               localhost6.localdomain6 localhost6

5 vi 编辑模式变命令模式,直接按 Esc
保存退出:(: wq!
改动不保存:(: q!

6 重启: reboot
    立即重启: shutdown -r now (root 用户使用 )
    关机: poweroff
    立即关机: shutdown -h now(root 用户使用 )

7 用户创建: useradd  用户名
    用户密码设置: passwd  用户名

8 cp 主要是用于在同一台电脑上,在不同的目录之间来回 copy 文件  
   scp :主要是在不同的 Linux 系统之间来回 copy 文件

9 闭防火墙(iptables):
    重启后永久性生效:
      开启: chkconfig iptables on
      关闭: chkconfig iptables off
    即时生效,重启后失效:
      开启: service iptables start
      关闭: service iptables stop
   关闭selinux服务:
     查看selinux状态: getenforce或sestatus -v 
     设置文件vim /etc/selinux/config
        注释掉: SELINUX=enforcing
        新增:SELINUX=disabled
     设置selinux服务临时关闭(无需重启): setenforce 0
        
(
    CentOS 7.0 默认使用的是 firewall 作为防火墙,使用 iptables 必须重新设置一下
    1 、直接关闭防火墙
         停止 firewall :systemctl stop firewalld.service 
         禁止 firewall 开机启动 :systemctl disable firewalld.service 
    2 、设置  iptables service
            yum -y install iptables-services
)

10 查看防火墙状态: service iptables status

11 网关更新信息: /etc/init.d/network restart

12 IP 设置、自动获取 IP /etc/sysconfig/network-scripts/ifcfg-etc0

13 查看环境变量: set

14 服务的启动与关闭: service redisd start; service redisd stop

15 退出命令行操作模式: quit

16 退出 ssh ctrl+d

17 添加一个名为 tommy 的用户: adduser tommy 
   修改密码: passwd tommy

18 识别文件类型: file test.txt

19./ :  是当前目录
    ../  是上一级目录
    ~/:表示的是个人目录,例如你的账户是student,那么~/代表的是/home/student/
     /:表示的是根目录。 cd / ,即进入根目录.

20 Linux 中修改环境变量及生效方法
方法一:  
/etc/profile 文件中添加变量【对所有用户生效(永久的)】  
VI 在文件 /etc/profile 文件中增加变量,该变量将会对 Linux 下所有用户有效,并且是“永的”。  
要让刚才的修改马上生效,需要执行以下代码  
source  /etc/profile     
方法二:  
在用户目录下的 .bash_profile 文件中增加变量【对单一用户生效(永久的)】  
VI 在用户目录下的 .bash_profile 文件中增加变量,改变量仅会对当前用户有效,并且是“永久的”。  
要让刚才的修改马上生效,需要在用户目录下执行以下代码  
# source .bash_profile  
方法三:  
直接运行 export 命令定义变量【只对当前 shell BASH )有效(临时的)】  
shell 的命令行下直接使用 [export 变量名 = 变量值 ] 定义变量,该变量只在当前的 shell BASH )或其子 shell BASH )下是有效的, shell 关闭了,变量也就失效了,再打开新 shell 时就没有这个变量,需要使用的话还需要重新定义。  
export PATH=/usr/local/webserver/php/bin:$PATH

21 显示当前 shell 的变量,包括当前用户的变量: set;
     显示当前用户的变量: env;
     清除环境变量: unset  变量名 ;

22 有时候,对文件进行执行或修改的时候报错,有可能是对文件的权限不足

23 文件删除: rm –rf;
             -r, -R, --recursive  递归删除目录及其内容 ;
             -f, --force  强制删除。忽略不存在的文件,不提示确认 ;

24 awk 一个强大的文本分析工具,相对于 grep 的查找, sed 的编辑, awk 在其对数据分析并生成报
告时,显得尤为强大。简单来说 awk 就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开
的部分再进行各种分析处理。
三种方式调用 awk
1. 命令行方式
awk [-F    field-separator]    'commands'    input-file(s)
其中, commands  是真正 awk 命令, [-F 域分隔符 ] 是可选的。  input-file(s)  是待处理的文件。
awk 中,文件的每一行中,由域分隔符分开的每一项称为一个域。通常,在不指名 -F 域分隔符的情况下,默认的域分隔符是空格。
2.shell 脚本方式
将所有的 awk 命令插入一个文件,并使 awk 程序可执行,然后 awk 命令解释器作为脚本的首行,一遍通过键入脚本名称来调用。相当于 shell 脚本首行的: #!/bin/sh ,可以换成: #!/bin/awk
3. 将所有的 awk 命令插入一个单独文件,然后调用:
awk -f awk-script-file input-file(s)
其中, -f 选项加载 awk-script-file 中的 awk 脚本, input-file(s) 跟上面的是一样的。

25 rpm: 类似 Windows 里面的 添加 / 删除程序
ivh :安装显示安装进度 --install--verbose--hash
Uvh :升级软件包 --Update
qpl :列出 RPM 软件包内的文件信息 [Query Package list]
qpi :列出 RPM 软件包的描述信息 [Query Package install package(s)]
qf :查找指定文件属于哪个 RPM 软件包 [Query File]
Va :校验所有的 RPM 软件包,查找丢失的文件 [View Lost]
e :删除包

26 运行 yum 命令出现: Loaded plugins: fastestmirror Determining fastest mirrors
问题分析: fastestmirror yum 的一个加速插件,这里是插件提示信息是插件不能用了。
问题解决:修改插件的配置文件 /etc/yum/pluginconf.d/fastestmirror.conf  
enabled = 1// 1 改为 0 ,禁用该插件
修改 yum 的配置文件 /etc/yum.conf
plugins=1// 改为 0 ,不使用插件

27 运行yum系统提示Existing lock /var/run/yum.pid: another copy is running as pid
     问题分析: 主要原因就是 yum 在自动更新,所以再运行 yum 就会报这个错。
        问题解决: 只要关掉正在执行的 yum 更新就可以了,停止正在运行的 yum 进程,或者禁用开机自动 启动 yum 进程
    停止 yum 进程 : rm -f /var/run/yum.pid
        停止自动更新 : /etc/init.d/yum-updatesd stop
        我们不需要自动更新服务,可以直接删除它 :  yum remove yum-updatesd

28 centOR7 安装 bind: yum -y install bind bind-utils

29 scp ./id_rsa.pub grid@192.168.86.137:/home/grid/.ssh/authorized_keys

30 linux 系统 jdk 环境变量配 置: vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_73
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

31、如果secureCTR无法连接linux服务器,除了linux服务器防火墙未关闭外,还有可能为linux服务器未安装ssh
        ssh的安装:yum install ssh
        ssh的启动:service sshd start
        设置开机启动:chkconfig sshd on



 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值