- 博客(3)
- 收藏
- 关注
原创 shell脚本登录sftp
sftp不能像ftp一样直接使用账号/密码登录(ftp ip地址; user 账户/密码),需要交互式输入登录密码。在shell中可以使用expect 传入密码。sftp $rad.put $BSF_USER@$BSF_IPexpect{ "password:" {send "$spwd\r"} "(yes/no)?" {send "yes\r";exp_continue}}也可
2017-03-31 17:04:31 22257
原创 Spark应用执行机制
Spark是专门为大规模数据设计的快速通用计算引擎。Spark应用(Application)为用户提交的应用程序。执行模式有Local(测试),Standalone、Yarn和Mesos。根据Spark Application的Driver Program是否在集群中运行,Spark应用的运行方式又可以分为CustomerCluster模式和Client模式。Spark涉及的基
2017-03-07 15:05:34 409
原创 spark笔记
hadoop判断map task处理的数据量:一个map task 对应一个split,split大小由split max、split min、block size决定,一般取中间值block size,map task数*128M(hadoop默认block size大小)。aparkOne stack rule them allAd-hoc Queries
2017-03-06 10:51:39 313
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人