Linux常用但易忘命令介绍，及MR调优

Linux常用但易忘命令介绍

Linux下修改虚拟机静态ip地址

vim /etc/sysconfig/network-scripts/ifcfg-ens33

添加一个用户并赋予其密码，及给该用户拥有root用户权限

useradd flying
passwd flying 123456
加root权限
vim /etc/sudoers
## Allow root to run any commands anywhere
root    ALL=(ALL)     ALL
flying  ALL=(ALL)     NOPASSWD:ALL
NOPASSWD:ALL(为了免去密码 为了执行sudo命令时，不需要输入密码）

在Linux下新装JDK时卸载原有JDK的命令

rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps

第一次启动集群应格式化namenode

hdfs namenode -format

群起群停命令

start-dfs.sh
stop-dfs.sh
start-yarn.sh
stop-yarn.sh

单起单停hdfs节点命令

hdfs --daemon start/stop namenode/datanode/secondarynamenode

单起yarn相关节点命令

yarn --daemon start/stop resourcemanager/nodemanager

单起historyserver

mapred --daemon start/stop historyserver

上传、下载hdfs上的文件

hadoop fs -put （本地文件路径） （hdfs上路径）
hadoop fs -get （hdfs上文件路径）

查看正在执行的job 和 杀死正在执行的job

yarn application -list 
yarn application -kill  Application-Id(具体id则由上一命令查出的为准)

Linux下常用易忘命令

:%s/old/new/g          替换内容   /g 替换匹配到的所有内容 (注：/g代表全局替换)
:set nu                显示行号
/要查找的词	            n 查找下一个，N 向上查找
数字+shift+g	          移动到目标行
cd -				   回到上一次所在目录
cd -P	               跳转到实际物理路径，而非快捷方式路径//软连接
tail -n 数字 文件       查看该文件后数字行
tail -f 文件           实时追踪该文件的所有更新（可监视文件变化）

shell 中 & 作用是把进程推到后台

xargs -n1 给其后的内容传参数 一个个的传

awk{print $2} 默认是以空格来切割 取第二个参数并打印

启动flume

 ssh $i "nohup /opt/module/flume-1.9.0/bin/flume-ng agent -c /opt/module/flume-1.9.0/conf -f /opt/module/flume-1.9.0/gmalljob/taildir-kafka.conf -n a1

查看端口占用情况

netstat-tunlp | grep 端口号

MapReduce优化方法

1.数据输入

（1）合并小文件：在执行MR任务之前把小文件合并，大量的小文件会产生大量map任务。

（2） 使用combinetextinputformat作为输入解决输入端大量小文件的场景。

2.Map阶段

（1） 减少溢写（spill）次数

（2） 减少合并次数

（3） 在map之后，在不影响业务逻辑的前提下，先进行combiner的处理，减少I/O.

3.Reduce阶段

（1）合理设置Map和Reduce个数：太少会任务等待，延长处理时间；太多，导致map和reduce之间竞抢资源，处理超时等错误。

（2）设置Map 和Reduce共存

（3） 规避使用Reduce：在Reduce用于连接数据集的时候会产生大量的网络消耗。

（4） 合理设置Reduce端的Buffer。

4.I/O传输

（1）采用数据压缩的方式，减少网络I/O的时间，可以使用snappy或lzo.

5.数据倾斜问题

减少数据倾斜方法

（1）抽样和范围分区：根据结果设置边界值

（2）自定义分区

（3）combiner:在可能的情况下其目的就是聚合并精简数据。

（4）使用Map join ，尽量避免Reduce join.

6.常用参数调优

（1）以下参数是在用户自己的MR应用程序中配置就可以生效（mapred-default.xml）

配置参数	参数说明
mapreduce.map.memory.mb	一个MapTask可使用的资源上限（单位:MB），默认为1024。如果MapTask实际使用的资源量超过该值，则会被强制杀死。
mapreduce.reduce.memory.mb	一个ReduceTask可使用的资源上限（单位:MB），默认为1024。如果ReduceTask实际使用的资源量超过该值，则会被强制杀死。
mapreduce.map.cpu.vcores	每个MapTask可使用的最多cpu core数目，默认值: 1
mapreduce.reduce.cpu.vcores	每个ReduceTask可使用的最多cpu core数目，默认值: 1
mapreduce.reduce.shuffle.parallelcopies	每个Reduce去Map中取数据的并行数。默认值是5
mapreduce.reduce.shuffle.merge.percent	Buffer中的数据达到多少比例开始写入磁盘。默认值0.66
mapreduce.reduce.shuffle.input.buffer.percent	Buffer大小占Reduce可用内存的比例。默认值0.7
mapreduce.reduce.input.buffer.percent	指定多少比例的内存用来存放Buffer中的数据，默认值是0.0

（2）应该在YARN启动之前就配置在服务器的配置文件中才能生效（yarn-default.xml）

配置参数	参数说明
yarn.scheduler.minimum-allocation-mb	给应用程序Container分配的最小内存，默认值：1024
yarn.scheduler.maximum-allocation-mb	给应用程序Container分配的最大内存，默认值：8192
yarn.scheduler.minimum-allocation-vcores	每个Container申请的最小CPU核数，默认值：1
yarn.scheduler.maximum-allocation-vcores	每个Container申请的最大CPU核数，默认值：32
yarn.nodemanager.resource.memory-mb	给Containers分配的最大物理内存，默认值：8192

（3）Shuffle性能优化的关键参数，应在YARN启动之前就配置好（mapred-default.xml）

配置参数	参数说明
mapreduce.task.io.sort.mb	Shuffle的环形缓冲区大小，默认100m
mapreduce.map.sort.spill.percent	环形缓冲区溢出的阈值，默认80%

2）容错相关参数（MapReduce性能优化）

配置参数	参数说明
mapreduce.map.maxattempts	每个Map Task最大重试次数，一旦重试次数超过该值，则认为Map Task运行失败，默认值：4。
mapreduce.reduce.maxattempts	每个Reduce Task最大重试次数，一旦重试次数超过该值，则认为Map Task运行失败，默认值：4。
mapreduce.task.timeout	Task超时时间，经常需要设置的一个参数，该参数表达的意思为：如果一个Task在一定时间内没有任何进入，即不会读取新的数据，也没有输出数据，则认为该Task处于Block状态，可能是卡住了，也许永远会卡住，为了防止因为用户程序永远Block住不退出，则强制设置了一个该超时时间（单位毫秒），默认是600000（10分钟）。如果你的程序对每条输入数据的处理时间过长（比如会访问数据库，通过网络拉取数据等），建议将该参数调大，该参数过小常出现的错误提示是：“AttemptID:attempt_14267829456721_123456_m_000224_0 Timed out after 300 secsContainer killed by the ApplicationMaster.”。

7.小文件优化方法

小文件过多会产生大量的切片，就会产生大量的maptask

（1）在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS。

（2）在业务处理之前，在HDFS上使用MapReduce程序对小文件进行合并。

（3）在MapReduce处理时，可采用CombineTextInputFormat提高效率。

（4）开启uber模式，实现jvm重用

<!--  开启uber模式 -->

<property>

  <name>mapreduce.job.ubertask.enable</name>

  <value>true</value>

</property>

Flume中解决出现大量小文件的方法

配置文件更改以下设置

a1.sinks.k1.hdfs.round=true//去除掉
增加如下内容
a1.sinks.k1.hdfs.rollSize=0
a1.sinks.k1.hdfs.rollCount=0
    
    
rollSize
默认值：1024，当临时文件达到该大小（单位：bytes）时，滚动成目标文件。如果设置成0，则表示不根据临时文件大小来滚动文件。

rollCount
默认值：10，当events数据达到该数量时候，将临时文件滚动成目标文件，如果设置成0，则表示不根据events数据来滚动文件。

round
默认值：false，是否启用时间上的”舍弃”，类似于”四舍五入”，如果启用，则会影响除了%t的其他所有时间表达式；
``