Hadoop生态系统
文章平均质量分 60
测试架构师Alice
代码改变世界
展开
-
hadoop中map和reduce的数量设置问题
map和reduce是hadoop的核心功能,hadoop正是通过多个map和reduce的并行运行来实现任务的分布式并行计算,从这个观点来看,如果将map和reduce的数量设置为1,那么用户的任务就没有并行执行,但是map和reduce的数量也不能过多,数量过多虽然可以提高任务并行度,但是太多的map和reduce也会导致整个hadoop框架因为过度的系统资源开销而使任务失败。所以用户在提交m转载 2016-11-03 16:20:36 · 312 阅读 · 0 评论 -
hadoop关于block方面的相关总结【转】
1.如何修改hdfs块大小? 2.修改之后,之前的block是否发生改变? 1.修改hdfs块大小的方法 在hdfs-site.xml文件中修改配置块大小的地方,dfs.block.size节点。 重启集群后,重新上传文件到hadoop集群上,新增的文件会按照新的块大小存储,旧的不会改变。 2.hadoop指定某个文件的blocksize,而不改变整个集群的blocksize转载 2016-11-03 15:59:12 · 396 阅读 · 0 评论 -
Hadoop/Spark相关面试问题总结
Hadoop/Spark相关面试问题总结 面试回来之后把其中比较重要的问题记了下来写了个总结: (答案在后面) 1、简答说一下Hadoop的map-reduce编程模型 2、hadoop的TextInputFormat作用是什么,如何自定义实现 3、hadoop和Spark的都是并行计算,那么他们有什么相同和区别 4、为什么要用flume导入hdfs,hdfs转载 2016-11-14 22:10:55 · 770 阅读 · 0 评论 -
HDFS操作-命令行接口
hadoop fs -ls //表示对HDFS下一级目录的查看 -lsr //表示对HDFS目录的递归查看 -mkdir //创建目录 -put //从本地上传文件到HDFS上 或 -copyFromLocal -get //从HDFS下载文件到本地 或 -copyToLocal -cat 或-text //查看文件内容 -rm(r) //删除文件(夹) -c原创 2017-07-04 19:11:27 · 300 阅读 · 0 评论 -
HDFS操作-Java接口
通过eclipse实现hdfs的java接口原创 2017-07-04 19:34:01 · 356 阅读 · 0 评论 -
Apache Hadoop伪分布式安装
Apache Hadoop伪分布式安装 操作系统:CentOS 6.5原创 2017-06-27 13:23:22 · 561 阅读 · 0 评论 -
Hadoop学习笔记(一)
Hadoop是什么 Hadoop运行于大规模普通服务器上的 大数据存储、计算、分析的 分布式存储系统和分布式运算框架 Hadoop2.X组成 分布式文件系统HDFS 分布式计算框架MapReduce 资源分配系统YARN原创 2017-08-20 15:26:38 · 265 阅读 · 0 评论 -
Hadoop学习笔记(二)--HDFS分布式文件系统(1)
Hadoop学习笔记(二)--HDFS分布式文件系统 HDFS简介 优点: 处理超大文件流式的访问数据(一次写入,多次读取)运行于廉价的商用机器集群上 局限性: 不适合处理低延迟数据访问无法高效存储大量的小文件不支持多用户写入及任意修改文件 HDFS架构 主从结构 主节点:只有一个NameNode(单点故障),HA下会有多个NameNode。从节点:有很多D原创 2017-08-28 22:21:31 · 469 阅读 · 0 评论