- 博客(2)
- 收藏
- 关注
RSS订阅原创 spark打包加线上运行
两种方式：有外部依赖，没有外部依赖； 没有外部依赖 File--->Project StructureArtifacts中点击+，添加一个Empty的jar给当前应用配置名称，添加classBuild向artifact最后一步，进行buildJar的地址：build完毕之后会在当前项目的目录创建一个out/artifac...
2019-06-27 21:16:13
212
原创 泛谈HDFS
设计思路 分而治之：分块存储 冗余备份：副本 优点 可构建在廉价机器上：横向扩展 高容错性：多个副本 适合批处理：计算移动而非数据移动 流式访问：一次写入多次读取，不允许修改只能追加，保证数据一致性 核心设计 心跳机制（heartbeat） master启动时会启动一个IPC服务，等待slave的连接 slave启动时会主动连接master的IPC...
2019-04-29 20:55:14
97
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人