AWS配置使用 SKYNET

最近在研究云风的skynet服务器框架 git地址:https://github.com/cloudwu/skynet

下面记录在AWS部署中遇到的坑和解决办法:

无make 命令
sudo yum install automake

sudo yum install autoconf

报no acceptable c compiler found in path错误
sudo yum install gcc

报fatal error: readline/readline.h: No such file or directory
sudo yum install readline-devel

没有lua命令
cd skynet/3rd/lua

make linux

make install

报Connect 127.0.0.1 8888 failed
需在aws控制面板中修改安全组,开放对应端口

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
SparkLauncher可以通过以下方式指定AWS配置: 1. 使用AWS SDK:首先需要安装AWS SDK,然后在代码中使用AWS SDK提供的类来设置AWS配置。例如,以下代码设置了AWS的访问密钥和密钥ID: ``` import com.amazonaws.auth.BasicAWSCredentials; import com.amazonaws.services.s3.AmazonS3Client; BasicAWSCredentials awsCreds = new BasicAWSCredentials("access_key_id", "secret_access_key"); AmazonS3Client s3Client = new AmazonS3Client(awsCreds); ``` 2. 使用环境变量:可以在启动SparkLauncher时设置环境变量,然后在代码中使用这些环境变量来配置AWS。例如,以下代码使用环境变量来设置AWS的访问密钥和密钥ID: ``` import org.apache.spark.launcher.SparkLauncher; SparkLauncher launcher = new SparkLauncher() .setAppName("myApp") .setMaster("local") .setSparkHome("/path/to/spark") .setConf("spark.executor.extraJavaOptions", "-Daws.accessKeyId=$AWS_ACCESS_KEY_ID -Daws.secretKey=$AWS_SECRET_ACCESS_KEY") .setConf("spark.driver.extraJavaOptions", "-Daws.accessKeyId=$AWS_ACCESS_KEY_ID -Daws.secretKey=$AWS_SECRET_ACCESS_KEY") .setConf("spark.hadoop.fs.s3a.access.key", "$AWS_ACCESS_KEY_ID") .setConf("spark.hadoop.fs.s3a.secret.key", "$AWS_SECRET_ACCESS_KEY"); Process process = launcher.launch(); ``` 在上述代码中,通过`setConf`方法来设置AWS的访问密钥和密钥ID,使用了环境变量`$AWS_ACCESS_KEY_ID`和`$AWS_SECRET_ACCESS_KEY`。 需要注意的是,使用环境变量的方式需要在启动SparkLauncher时设置这些环境变量,否则代码无法正常运行。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值