linux运维
文章平均质量分 80
千里风雪
个人比较喜欢打台球, 篮球, 跑步, 平时没事敲敲代码, 听听歌
展开
-
spark on yarn-cluster在生产环境 部署 spark 任务, 同时支持读取外部可配置化文件
spark on yarn-cluster在生产环境部署读取外部可配置化文件原创 2022-09-29 11:33:21 · 1393 阅读 · 0 评论 -
在shell脚本执行hbase命令
定时清理hbase表### 定时清理30天前产生的表day=`date -d "-30 day" "+%Y%m%d"`hbase_table='migu:download_log'${day}''echo $hbase_tablecd /home/mmtrix/Application/Gosun/enterprise/hbase/hbase-1.2.0-cdh5.9.3exec...原创 2020-03-11 14:28:07 · 2660 阅读 · 0 评论 -
hbase的从节点全被我搞挂了
主要是记录这个hbase从节点全挂掉的过程和一些自己的心得, 这次hbase的HRegionServer全部死掉幸好是在测试环境,及早发现。昨天加了一个新项目, spark streaming 使用bulk load模式落地数据到hbase, 将日志信息全都存到hbase。 今天早上一来看hbase的从节点全都挂了,master节点没挂。正常bulk Loaded HFile的日志 ...原创 2020-01-16 14:28:47 · 1405 阅读 · 0 评论 -
crontab任务执行延迟8小时
crontab任务执行延迟8小时当前时间: 2019-12-24 15:22:19crontab的log显示和当前时间相比较是延迟了8个小时。linux的date命令却显示的是当前时间,没有延迟猜测是crontab的时区不对。解决方法:cp/usr/share/zoneinfo/Asia/Shanghai/etc/localtimeservice crond...原创 2019-12-24 16:02:38 · 2113 阅读 · 0 评论 -
系统时间不同步问题: Reported time is too far out of sync with master
一个hbase从节点挂掉了报错:Reported time is too far out of sync with master解决方法:从节点同步主节点的时间(主节点:192.168.4.1)napdate 192.168.4.1linux安装ntpdate命令:[root@migu-cdn-hbase001 ~]# yum install ntp...原创 2019-12-10 11:01:07 · 1110 阅读 · 0 评论 -
linux 查看磁盘挂载
命令:df -h命令: cat /etc/fstab原创 2019-09-27 10:03:16 · 2037 阅读 · 0 评论 -
shell脚本 获取目录下所有文件的行数,以及每条数据的时间戳
shell脚本 获取目录下所有文件的行数,以及每条数据的时间戳数据样例:[2019-09-19 05:14:41] 192.168.10.9 "http://video.media.andedu.net/product/cp30000000001/VIDEO/161124/xdf314AD6A76E5446D2BDA5D5836F765CED/579061.mp4"...原创 2019-09-27 15:12:31 · 1267 阅读 · 1 评论