Hadoop
文章平均质量分 79
jerry_jiang2017
这个作者很懒,什么都没留下…
展开
-
Hadoop01-搭建
一、大数据的概念 举例:城市男女比例调查 【抽样统计】 100个人 -》51男生 -》49女生 -》51:49 -》并不完全-》结果不准确 -》范围太小-》结果偏差 样本数据-》全量数据 1、特点:大 数据-》传统关系型数据库RDBMS-》结构化 电商网站-》商品 用户ID 用户名 性别 用户等级 1 张三 男 10 2 李四 女 12 搜索栏-》苹果手机-》原创 2017-05-03 16:11:10 · 447 阅读 · 0 评论 -
Hadoop02-MapReduce
一、Hadoop环境部署常见错误 1、在格式化namenode之后在自定义创建的tmp目录只会生成name的文件夹 2、name代表的就是namenode这块的信息 3、data代表的就是datanode这块的信息 4、tmp/dfs/name/current 5、指定fsimage文件的路径dfs.namenode.name.dir -》在实际的工作中这个目录可以多配几个,保证元数据原创 2017-05-03 16:12:47 · 414 阅读 · 0 评论 -
HBase+ZooKeeper+Hadoop2.6.0的ResourceManager HA集群高可用配置
问题导读: 0、了解常规JDK安装以及Linux系统配置 1、了解集群规划以及集群场景 2、熟悉HBase的集群搭建 3、熟悉ZooKeeper集群搭建 4、熟悉Hadoop2.6.0版本HA集群搭建 5、验证HBase、ZooKeeper、Hadoop等集群运行情况 参考 :Ha转载 2017-05-08 19:47:51 · 335 阅读 · 0 评论 -
Hadoop2.4的ResourceManager HA高可用配置
问题导读 1.ResourceManager HA需要修改哪些配置? 2.如何强制切换HA? Hadoop 2.2没怎么关注过,太新,bug太多。2.4出来以后关注了一些东西,比如2.4里面直接带了ResourceManager的高可用,这点比较吸引人。之前2.2没注意有没有,貌似是没有,然后CDH自己出了一个解决方案,这次2.4的更新直接自己带了,还不错,这样就转载 2017-05-08 19:49:22 · 331 阅读 · 0 评论