- 博客(2)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 spark 运行概念和关键参数
1.num-executors参数说明：该参数用于设置Spark作业总共要用多少个Executor进程来执行。Driver在向YARN集群管理器申请资源时，YARN集群管理器会尽可能按照你的设置来在集群的各个工作节点上，启动相应数量的Executor进程。这个参数非常之重要，如果不设置的话，默认只会给你启动少量的Executor进程，此时你的Spark作业的运行速度是非常慢的。参数调优...
2020-01-02 18:11:20
221
原创 azcopy linux 安装使用说明（blob）
azcopy 有过一次大的命令行接口更新：7.x的版本 命令形如： azcopy --source .... --destination ...10.x的版本 命令形如：azcopy copy10.x的版本有子命令安装说明：wget -O azcopy.tar.gz https://aka.ms/downloadazcopy-v10-linuxtar -xf azc...
2020-01-02 12:15:52
3906
sping.net 2.0M1 和 NHiernate3.3结合的一个小例子
sping.net 2.0M1 和 NHiernate3.3结合的一个小例子
注意,请自行根据hbm.xml建立数据库,默认配置用的是mssql2005
2012-09-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人