aws
码一八
欢迎关注同名公众号「码一八」,用技术改变生活。
展开
-
ELK 单机部署,多 beat 节点
参考文章适用场景:多个项目或服务,独立部署,各个服务有自己的 log 文件。为便于查看、过滤等,可单机部署 ELK 服务后,各个服务通过 filebeat 服务将 log 发送至 ELK 机器。一、安装 java$ sudo yum install java$ java -versionopenjdk version "11.0.5" 2019-10-15 LTSOpenJDK R...原创 2019-11-17 23:31:35 · 380 阅读 · 0 评论 -
「AWS」入门安装aws cli
cli,即Command Line Interface,是aws服务常用的命令工具AWS官网地址环境:Python安装安装起来只需要一条命令:pip install awscli执行完成之后,输入aws,输出如下,则说明安装成功了:$ awsusage: aws [options] <command> <subcommand> [<su...原创 2019-08-22 20:57:37 · 1873 阅读 · 3 评论 -
在Spark中加载Redshift数据问题汇总
1. java.sql.SQLException: No suitable driver这个错误是因为,连接Redshift时需要一个driver,而程序执行时找不到能用的driver,所以报错。AWS提供了多个版本连接Redshift的driver,点击查看。2. java.lang.NoClassDefFoundError: com/amazonaws/services/kinesis/m...原创 2019-09-17 00:13:10 · 1226 阅读 · 0 评论 -
在AWS Lambda中使用psycopg2连接Redshift
环境:MacOS 10.12.6开始说正题。Redshift是基于PostgreSQL的二次开发应用,所以,能连接PostgreSQL的工具都可以用来连接Redshift。我选择的是使用最广泛的psycopg2。如果上来就执行:$ pip install psycopg2你会看到下面的提示错误:Error: pg_config executable not found. ...原创 2019-09-17 22:55:54 · 921 阅读 · 0 评论