hadoop
折痕或DDG
这个作者很懒,什么都没留下…
展开
-
泛谈HDFS
设计思路 分而治之:分块存储 冗余备份:副本 优点 可构建在廉价机器上:横向扩展 高容错性:多个副本 适合批处理:计算移动而非数据移动 流式访问:一次写入多次读取,不允许修改只能追加,保证数据一致性 核心设计 心跳机制(heartbeat) master启动时会启动一个IPC服务,等待slave的连接 slave启动时会主动连接master的IPC...原创 2019-04-29 20:55:14 · 97 阅读 · 0 评论 -
spark打包加线上运行
两种方式:有外部依赖,没有外部依赖; 没有外部依赖 File--->Project StructureArtifacts中点击+,添加一个Empty的jar给当前应用配置名称,添加classBuild向artifact最后一步,进行buildJar的地址:build完毕之后会在当前项目的目录创建一个out/artifac...原创 2019-06-27 21:16:13 · 212 阅读 · 0 评论