Linux
大数据学习与分享
【微信公众号:大数据学习与分享】专注于大数据领域常用技术,如Spark、Hadoop、Hive、HBase、Kafka、Zookeeper等技术的使用、实战技巧、源码解读,语言主要以Java和Scala为主
展开
-
Linux常见笔试题
1.linux系统中获取pid为100的进程所监听的tcp端口号 netstat -npta | grep 100 2.查找/home目录下大小为10k的文件 find /home -size 10K 3.在当前目录中的Main.java中关键字keywords出现位置,并将结果追加到main.txt中 find . -name Main.java | xargs grep -n “keywords” >> main.txt 【xargs将前一个命令的输出作为后一个命令的参数】 4.压缩文件夹t原创 2020-11-27 15:52:57 · 921 阅读 · 0 评论 -
linux文件句柄、单个用户进程数、swap分区、软限制、硬限制等系统调优
无论对Spark集群,还是Hadoop集群等大数据相关的集群进行调优,对linux系统层面的调优都是必不可少的,这里主要介绍3种常用的调优: 1. linux文件句柄 linux在整个系统层面和单个进程两个层面对打开的文件句柄进行限制。 配置文件/proc/sys/fs/file-max是对整个系统层面对打开的文件句柄最大数进行控制,单个用户或进程能够打开的文件句柄数受此限制。 通过ulimit -a查看当前用户或进程能够打开的最大文件数: 上述只是默认值,在实际生产环境肯定是不够用的,如果配置过小,有时原创 2020-11-24 10:43:41 · 507 阅读 · 0 评论 -
shell中的一些变量$
$?:表示上一个命令退出的状态 $$:表示当前进程编号 $0:表示当前脚本名称 $n:表示n位置的输入参数(n代表数字,n>=1) $#:表示参数的个数,常用于循环 ∗和*和∗和@都表示参数列表。 ∗和*和∗和@都表示传递给函数或脚本的所有参数,不被双引号" “包含时,都以$1 $2 … n的形式输出所有参数;当它们被双引号""包含时,"n 的形式输出所有参数;当它们被双引号" "包含时,"n的形式输出所有参数;当它们被双引号""包含时,"*” 会将所有的参数作为一个整体,以"$1 $2 … n"原创 2020-05-08 20:44:34 · 353 阅读 · 0 评论