linux
文章平均质量分 56
克念
这个作者很懒,什么都没留下…
展开
-
记录一下自己写的小工具:shell 调度 SQL 批处理,递归查找调度路径
写这段代码的背景:1:老项目,因为一些原因没有使用一些流行的DAG调度平台,而是通过使用Linux定时任务调度SHELL的方式来执行每日的批处理调度2:整个的批处理调度一共有三个入口SHELL,也就是直接和Linux 定时任务交互的SHELL,big_main.sh,run_main.sh,run_ten.sh。而这三个脚本也是我的递归方法的出口3:一共有两个目录,一个目录专门放所有的shell脚本,一个目录专门放所有的SQL脚本4:SHELL和SHELL之间互相调用,没有清晰的分层,多少层原创 2021-03-04 10:41:39 · 856 阅读 · 1 评论 -
linux 自己编写脚本,开机自动启动
很多时候,我们想要给系统添加一个开机自动启动的脚本,用来解决一些问题,比如snmp服务,tomcat服务等。这个时候,我们可以自己手动写一个启动脚本,并且添加到开机自动启动项目里面。这样子每次开机就可以自动启动我们想要启动的服务。而且因为是自己写的启动脚本,可以自己灵活地添加一些命令,比如打印启动日志等等。下面就是自己手动写开机自动启动脚本的方式。 一:首先,编写一个脚本 auto原创 2014-02-22 16:18:23 · 4227 阅读 · 0 评论 -
linux常用命令
1:stat stat mi原创 2014-09-13 18:15:04 · 358 阅读 · 0 评论 -
在AWS的Linux Server下安装SSL证书
背景: 最近在AWS 上面个申请了一个云 服务器,Linux系统,Linux的版本为他们AWS自己的Linux服务器。但是我使用的过程中发现,其实该Linux 系统的使用方式和Centos基本一致。现在有个需求就是,在这个服务器上面需要安装一个Apache2 服务器,并且需要支持SSL。现在Apache服务器已经安装完毕,只需要再安装一下SSL组件,配置下SSL的证书。之前已经给这个服务器申请了原创 2017-11-03 18:51:28 · 2166 阅读 · 0 评论 -
Hadoop java运行时内存不足
服务器是一个云服务器,内存为1G,CPU为1核。然后执行一个Hadoop本身自带的example报错的。报错信息如下:There is insufficient memory for the Java Runtime Environment to continue.Native memory allocation (mmap) failed to map 12288 bytes for commi...原创 2018-04-11 14:51:39 · 2621 阅读 · 0 评论 -
Hadoop 伪分布式搭建(2.6.5)
Hadoop2和Hadoop1是不一样的,所以专门为了Hadoop2 做了一个记录。 我的环境是Ubuntu 16.4 首先确保Java已经安装完毕,并且环境变量已经配置OK,具体的细节我就不在这里讲解了。 然后确保ssh已经安装好,sshd需要启动并且使用Hadoop的脚本管理远程的Hadoop节点。 安装ssh相关:sudo apt-get install sshsudo apt-...原创 2018-04-11 14:52:11 · 444 阅读 · 0 评论 -
Hadoop 伪分布式环境, jobhistory 配置信息引起的报错
Hadoop 版本 2.6.5 Ubuntu Linux 伪分布式环境之前我的Hadoop环境因为运行时报了下面的错误:ava.io.IOException: java.net.ConnectException: Call From localhost.localdomain/127.0.0.1 to 0.0.0.0:10020 failed on connection exception: ...原创 2018-04-11 18:17:05 · 1101 阅读 · 0 评论 -
Ubuntu 查看异常登录 暴力攻击
最近我的腾讯云服务器报警说有人正在暴力破解,所以我就去查看后台的登录失败日志,命令如下: sudo lastb Screen clipping taken: 4/19/2018 3:04 PM 尼玛,整的是一对的暴力破解信息啊。第一列:表示尝试的登录用户,看图中可以发现有root, support,scanner….等等一些常见的用户。第二列:表示通过什么方式来登录,可以看得出来,是ssh...原创 2018-04-19 15:30:03 · 2983 阅读 · 0 评论 -
CDH 5.12 spark升级从1.6到2.2
CDH5.12对应spark版本下载Spark升级包CSD文件下载SPARK2_ON_YARN-2.1.0.cloudera1.jarparcels包下载因为我的Linux版本是centos7,因此下载下面的两个包SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-el7.parcelSPARK2-2.2.0.cloudera1-1.cdh5....原创 2019-04-19 22:58:05 · 750 阅读 · 0 评论