- 博客(2)
- 收藏
- 关注
RSS订阅原创 hadoop fs -put 做增量上传
最近遇到一个case，对按照每个小时对数据从A地区的s3数据区搬运到B地区的集群上，整个流程如下： A地区Amazon S3数据区->B地区Amazon S3数据区->B地区服务器缓存区->B地区HDFS集群。 由于A地区的公网连接不稳定，所以先同步到B地区的Amazon S3数据区在上传到HDFS中。 将B地区服务器缓存区的数据全部hadoop fs -put就可以了，当...
2018-07-16 12:00:18
11254
原创 Linux命令之crontab
什么是Crontab linux 系统则是由 cron (crond) 这个系统服务来控制的。Linux 系统上面原本就有非常多的计划性工作，因此这个系统服务是默认启动的。另 外, 由于使用者自己也可以设置计划任务，所以， Linux 系统也提供了使用者控制计划任务的命令 :crontab 命令。简而言之，crontab可以定时执行任务。 在大数据的应用场景中，常常需要定时脚本，任务调度，完成...
2018-07-10 21:45:42
194
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人