- 博客(6)
- 收藏
- 关注
RSS订阅原创 Python利用boto3以及Pyspark操作AWS S3
文章目录一、需求背景二、Pyspark <-> S3的读写1. Pyspark读取hive表数据写入s3:2. Pyspark读取s3数据写入hive表:三、Boto3读写s3上的文件1. Boto3读写2.其他用法Reference一、需求背景我收到的需求是首先用pyspark将hive数据导出，然后在服务器进行机器学习计算，结果再返回hive仓库，之前一直使用mysql作为中转，实际发现hive数据太大，转到mysql的ETL部分是单线程的很慢，遂改用AWS的s3作为中转，记录常用的操
2022-05-08 22:21:25
2149
原创 CentOS8 yum install失败
CentOS8 yum install失败问题描述解决方案问题描述在CentOS8上面用yum安装git的时候遇到如下问题：[vagrant@192.168.38.4] ~ >> sudo yum install gitCentOS Linux 8 - AppStream 71 B/s | 38 B 00:00Error: Failed to download metadata for repo 'appstream': Ca
2022-02-03 17:37:34
1399
转载 如何用Excel将汉字转换成拼音
Function pinyin(p As String) As Stringi = Asc(p)Select Case iCase -20319 To -20318: pinyin = "a "Case -20317 To -20305: pinyin = "ai "Case -20304 To -20296: pinyin = "an "Case -20295 To -20293: ...
2019-06-03 05:44:38
4857
转载 如何调试Excel VBA代码
Excel VBA出错时给出的错误信息极少，需要充分利用各种工具来进行调试。1.编译错误常见的编译错误有：错误的源代码格式，比如if后面缺少then：在编辑器中该行会变成红色。错误的语法结构，比如if和end if没有对应上：代码运行前会给出编译错误提示。类型不匹配：函数输入的参数与定义时的参数类型不同时会出现该类错误。变量未定义：指使用了没有申明的变量类型（当Option Expli...
2019-06-03 03:08:50
3907
转载 Matlab制作gif或者avi动态图
动图一般有两种格式.gif以及.avi，都能拥有更好的展示效果%% aviclose all; clear all;aviobj = VideoWriter('test.avi','Uncompressed AVI');open(aviobj) t = linspace(0,2.5*pi,40);fact = 10*sin(t);fig=figure;[x,y,z] = pea...
2019-05-25 16:58:01
1194
原创 汽车发动机双区域MATLAB模型
文章目录I. Introduction of two-zone models1.1 Introduction of two-zone models1.2 Results and analysis of the basic modelsII. Influence of design parameters on performance2.1 Influence of compression rati...
2019-05-11 02:17:04
1007
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人