2018年08月_AlferWei

12月 10月 09月 08月 07月 06月 05月 04月 03月 02月

原创 Spark on Yarn任务运行的日志收集

Spark on yarn环境：基于CDH的大数据组件平台。yarn服务有resource manager和node manager组成，在yarn上运行的任务，由一个ApplicationMaster和多个container组成。Spark 运行由一个driver和多个executor组成，Spark on Yarn时，Spark的driver和executor分别运行在yarn的c...

2018-08-21 21:31:34 8173

原创 Linux设置开机自启动

linux系统启动的时候，会自动执行/etc/rc.local中的命令。将需要开机自启动的服务的启动命令放到/etc/rc.local中即可。示例：开机自启动mongodbvim /etc/rc.local/usr/local/mongodb/bin/mongod -config /usr/local/mongodb/bin/mongodb.conf ...

2018-08-21 16:30:53 338

原创 Linux别名设置

linux为命令设置别名一、可以在/etc/bashrc中添加别名# add alias namealias ap="netstat -nptl"source /etc/bashrc 或者 source ~/.bashrc 或者 source ~/.bash_profile二、在~/.bashrc中添加别名source ~/.bashrc 或者 source ~/.b...

2018-08-21 16:11:33 1164

grep是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。Unix的grep家族包括grep、egrep和fgrep。egrep和fgrep的命令只跟grep有很小不同。egrep是grep的扩展，支持更多的re元字符， fgrep就是fixed grep或fast grep，它们把所有的字母都看作单词，也就是说，正则表达式中的元字符表示回其自身的字面意义，不再特殊。li...

2018-08-21 14:32:53 1450

原创 HDFS跨集群拷贝

使用hadoop distcp实现不同hadoop集群之间的文件迁移#] hadoop distcpusage: distcp OPTIONS [source_path...] <target_path>使用示例：hadoop distcp hdfs://172.30.6.25:8020/lts/oozie/spark/DELTA_TRANSFORMER_BJ hdf...

2018-08-21 11:04:23 2913