- 博客(8)
- 资源 (43)
- 收藏
- 关注
转载 Hadoop2.4的ResourceManager HA高可用配置
问题导读 1.ResourceManager HA需要修改哪些配置? 2.如何强制切换HA? Hadoop 2.2没怎么关注过,太新,bug太多。2.4出来以后关注了一些东西,比如2.4里面直接带了ResourceManager的高可用,这点比较吸引人。之前2.2没注意有没有,貌似是没有,然后CDH自己出了一个解决方案,这次2.4的更新直接自己带了,还不错,这样就
2017-05-08 19:49:22 329
转载 HBase+ZooKeeper+Hadoop2.6.0的ResourceManager HA集群高可用配置
问题导读: 0、了解常规JDK安装以及Linux系统配置 1、了解集群规划以及集群场景 2、熟悉HBase的集群搭建 3、熟悉ZooKeeper集群搭建 4、熟悉Hadoop2.6.0版本HA集群搭建 5、验证HBase、ZooKeeper、Hadoop等集群运行情况 参考 :Ha
2017-05-08 19:47:51 334
转载 log4j.properties配置详解与实例
最近使用log4j写log时候发现网上的写的都是千篇一律,写的好的嘛不全,写的全一点的嘛没有一点格式,看着累。这里把网上收集到的整理了一下,并且全部都在机器上测试成功了。这么好的文档估计没有了吧? ################################################################################ #①配置根Logger,其语法为
2017-05-03 16:14:55 352
原创 Log01
#OFF,systemOut,logFile,logDailyFile,logRollingFile,logMail,logDB,ALL log4j.rootLogger=ALL,systemOut,logDailyFile #level是日志记录的优先级,分为OFF,TRACE,DEBUG,INFO,WARN,ERROR,FATAL,ALL #输出到控制台 log4j.
2017-05-03 16:14:07 317
原创 Hadoop02-MapReduce
一、Hadoop环境部署常见错误 1、在格式化namenode之后在自定义创建的tmp目录只会生成name的文件夹 2、name代表的就是namenode这块的信息 3、data代表的就是datanode这块的信息 4、tmp/dfs/name/current 5、指定fsimage文件的路径dfs.namenode.name.dir -》在实际的工作中这个目录可以多配几个,保证元数据
2017-05-03 16:12:47 412
原创 Hadoop01-搭建
一、大数据的概念 举例:城市男女比例调查 【抽样统计】 100个人 -》51男生 -》49女生 -》51:49 -》并不完全-》结果不准确 -》范围太小-》结果偏差 样本数据-》全量数据 1、特点:大 数据-》传统关系型数据库RDBMS-》结构化 电商网站-》商品 用户ID 用户名 性别 用户等级 1 张三 男 10 2 李四 女 12 搜索栏-》苹果手机-》
2017-05-03 16:11:10 446
原创 Linux02
一、回顾 1、了解认识Linux -》版本 -》应用领域 2、部署Linux环境 -》静态IP:NAT模式 -》主机名:hostname-》系统内核变量 # cat /proc/sys/kernel/hostname /etc/sysconfig/network -》网络映射 /etc/hosts 将IP地址与主机名进行对应 -》解析域名DNS /etc/sysconfi
2017-05-03 16:05:08 344
原创 Linux01
二、Linux初始 1、发行版 内核-》二次开发-》加入自己的特性功能-》最终推出商业发行版 2、服务器 Linux -》考虑安全性、稳定性 https://www.netcraft.com/ 嵌入式: 智慧型手机、平板 ios unix 安卓 Linux,电视盒子-》Linux 航天、金融银行等等 3、一般的发行版都是基于Linux内核开发的 Red Hat -
2017-05-03 16:02:15 1522
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人