自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(2)
  • 收藏
  • 关注

原创 hadoop fs -put 做增量上传

最近遇到一个case,对按照每个小时对数据从A地区的s3数据区搬运到B地区的集群上,整个流程如下: A地区Amazon S3数据区->B地区Amazon S3数据区->B地区服务器缓存区->B地区HDFS集群。 由于A地区的公网连接不稳定,所以先同步到B地区的Amazon S3数据区在上传到HDFS中。 将B地区服务器缓存区的数据全部hadoop fs -put就可以了,当...

2018-07-16 12:00:18 11254

原创 Linux命令之crontab

什么是Crontab linux 系统则是由 cron (crond) 这个系统服务来控制的。Linux 系统上面原本就有非常多的计划性工作,因此这个系统服务是默认启动的。另 外, 由于使用者自己也可以设置计划任务,所以, Linux 系统也提供了使用者控制计划任务的命令 :crontab 命令。简而言之,crontab可以定时执行任务。 在大数据的应用场景中,常常需要定时脚本,任务调度,完成...

2018-07-10 21:45:42 194

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除