- 博客(3)
- 收藏
- 关注
RSS订阅原创 shell脚本登录sftp
sftp不能像ftp一样直接使用账号/密码登录（ftp ip地址; user 账户/密码），需要交互式输入登录密码。在shell中可以使用expect 传入密码。sftp $rad.put $BSF_USER@$BSF_IPexpect{ "password:" {send "$spwd\r"} "(yes/no)?" {send "yes\r";exp_continue}}也可
2017-03-31 17:04:31
21371
原创 Spark应用执行机制
Spark是专门为大规模数据设计的快速通用计算引擎。Spark应用（Application）为用户提交的应用程序。执行模式有Local（测试），Standalone、Yarn和Mesos。根据Spark Application的Driver Program是否在集群中运行，Spark应用的运行方式又可以分为CustomerCluster模式和Client模式。Spark涉及的基
2017-03-07 15:05:34
389
原创 spark笔记
hadoop判断map task处理的数据量：一个map task 对应一个split，split大小由split max、split min、block size决定，一般取中间值block size，map task数*128M（hadoop默认block size大小）。aparkOne stack rule them allAd-hoc Queries
2017-03-06 10:51:39
278
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人