- 博客(2)
- 收藏
- 关注
RSS订阅原创 Hadoop的优化
0）HDFS 小文件影响（1）影响 NameNode 的寿命，因为文件元数据存储在 NameNode 的内存中（2）影响计算引擎的任务数量，比如每个小的文件都会生成一个 Map 任务1）数据输入小文件处理：（1）合并小文件：对小文件进行归档（Har）、自定义 Inputformat 将小文件存储成SequenceFile 文件。（2）采用 ConbinFileInputFormat 来作...
2019-11-14 09:17:22
378
原创 大数据常用端口号
大数据常用端口号50070：HDFSwebUI的端口号8088：yarn的webUI的端口号8080：master的webUI，Tomcat的端口号7077：spark基于standalone的提交任务的端口号8081：worker的webUI的端口号18080：historyServer的webUI的端口号4040：application的webUI的端口号2181：zookee...
2019-11-14 09:07:27
227
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人