![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
shell
文章平均质量分 60
克念
这个作者很懒,什么都没留下…
展开
-
记录一下自己写的小工具:shell 调度 SQL 批处理,递归查找调度路径
写这段代码的背景: 1:老项目,因为一些原因没有使用一些流行的DAG调度平台,而是通过使用Linux定时任务调度SHELL的方式来执行每日的批处理调度 2:整个的批处理调度一共有三个入口SHELL,也就是直接和Linux 定时任务交互的SHELL,big_main.sh,run_main.sh,run_ten.sh。而这三个脚本也是我的递归方法的出口 3:一共有两个目录,一个目录专门放所有的shell脚本,一个目录专门放所有的SQL脚本 4:SHELL和SHELL之间互相调用,没有清晰的分层,多少层原创 2021-03-04 10:41:39 · 821 阅读 · 1 评论 -
linux 自己编写脚本,开机自动启动
很多时候,我们想要给系统添加一个开机自动启动的脚本,用来解决一些问题,比如snmp服务,tomcat服务等。 这个时候,我们可以自己手动写一个启动脚本,并且添加到开机自动启动项目里面。这样子每次开机就可以自动启动我们想要启动的服务。而且因为是自己写的启动脚本,可以自己灵活地添加一些 命令,比如打印启动日志等等。下面就是自己手动写开机自动启动脚本的方式。 一:首先,编写一个脚本 auto原创 2014-02-22 16:18:23 · 4210 阅读 · 0 评论 -
linux常用命令
1:stat stat mi原创 2014-09-13 18:15:04 · 353 阅读 · 0 评论 -
Hadoop java运行时内存不足
服务器是一个云服务器,内存为1G,CPU为1核。然后执行一个Hadoop本身自带的example报错的。报错信息如下:There is insufficient memory for the Java Runtime Environment to continue.Native memory allocation (mmap) failed to map 12288 bytes for commi...原创 2018-04-11 14:51:39 · 2573 阅读 · 0 评论 -
Hadoop 伪分布式搭建(2.6.5)
Hadoop2和Hadoop1是不一样的,所以专门为了Hadoop2 做了一个记录。 我的环境是Ubuntu 16.4 首先确保Java已经安装完毕,并且环境变量已经配置OK,具体的细节我就不在这里讲解了。 然后确保ssh已经安装好,sshd需要启动并且使用Hadoop的脚本管理远程的Hadoop节点。 安装ssh相关:sudo apt-get install sshsudo apt-...原创 2018-04-11 14:52:11 · 433 阅读 · 0 评论 -
Hadoop 伪分布式环境, jobhistory 配置信息引起的报错
Hadoop 版本 2.6.5 Ubuntu Linux 伪分布式环境之前我的Hadoop环境因为运行时报了下面的错误:ava.io.IOException: java.net.ConnectException: Call From localhost.localdomain/127.0.0.1 to 0.0.0.0:10020 failed on connection exception: ...原创 2018-04-11 18:17:05 · 1087 阅读 · 0 评论 -
Ubuntu 查看异常登录 暴力攻击
最近我的腾讯云服务器报警说有人正在暴力破解,所以我就去查看后台的登录失败日志,命令如下: sudo lastb Screen clipping taken: 4/19/2018 3:04 PM 尼玛,整的是一对的暴力破解信息啊。第一列:表示尝试的登录用户,看图中可以发现有root, support,scanner….等等一些常见的用户。第二列:表示通过什么方式来登录,可以看得出来,是ssh...原创 2018-04-19 15:30:03 · 2938 阅读 · 0 评论 -
CDH 5.12 spark升级从1.6到2.2
CDH5.12对应spark版本 下载Spark升级包 CSD文件下载 SPARK2_ON_YARN-2.1.0.cloudera1.jar parcels包下载 因为我的Linux版本是centos7,因此下载下面的两个包 SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-el7.parcel SPARK2-2.2.0.cloudera1-1.cdh5....原创 2019-04-19 22:58:05 · 739 阅读 · 0 评论