hadoop
yujin2010good
每天学习一点点,进步一点点。
展开
-
Hadoop—NN-学习三
架构图写入文件原理:1、 客户端要存文件,先找namenode,namenode返回信息(查询元数据),如果不存在,就给信息可以存,并分配datanode存block。2、 客户端收到信息,将数据按照NN的分配分别存入datanode(这里要注意保留副本个数,存副本的方式有两种第一、客户端写入N个副本全部成功才算成功。第二、写一份成功就算成功,剩下的原创 2016-01-29 23:39:42 · 476 阅读 · 0 评论 -
cloudera反向解析问题
安装时始终报错,看页面详细log如下: 安装cm的过程中,出现socker gaierror[error -2] name or service not know,然后事务开始回滚,什么scm server 连不上之类的,这个错误是在安装的过程中,在浏览器里现实的,install failed,浏览器里显示的错误信息不多,然后打开scm-agent的日志一看,有一些错误,“ERROR H原创 2017-06-18 17:37:41 · 436 阅读 · 0 评论 -
cloudera安装--获取锁问题
安装cloudera时,始终停留在获取安装锁,如下图ClouderaManager安装锁的问题,如果重新安装cloudera manager或者cloudera agent之类的组件可能会有安装锁的问题解决很简单,删除锁文件即可rm -rf /tmp/scm_prepare_node.* rm -rf /tmp/.scm_prepare_node.lock原创 2017-06-18 17:35:47 · 1638 阅读 · 1 评论 -
采用Cloudera-Manager安装CDH时,采用内嵌数据库各数据库用户密码的保存位置
摘要: 一、场景描述 在采用Cloudera-Manager安装cdh时,通常使用内嵌的PostgreSQL数据库。 Cloudera-Manager除了保存CDH集群的配置元数据的scm数据库外,还为Activity Monitor(活动监控)、Service Monitor(服务监控)、Report Manager(报告管理)、Host Monitor(主机监控)、Clou转载 2017-05-18 18:29:44 · 8338 阅读 · 0 评论 -
cloudera安装
软件下载地址:http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/https://www.zybuluo.com/sasaki/note/242142系统已经优化完毕一、下载软件并安装1、CDH下载http://archive.cloudera.com/cm5/installer/http://archive.clouder原创 2017-05-18 18:11:41 · 1317 阅读 · 0 评论 -
cloudera部分产品高可用配置-hdfs、hivermatestore、hue、impala
1. 设置高可用性4.1 使用QuorumJournalManager进行共享存储在Cloudera Manager 5中,HA是通过QJM方式实现的。以下步骤演示了如何启用高可用性HDFS,并启用自动故障恢复。1. 在Cloudera Manager中,进入HDFS Service2. 点击Actions > Enable High Availability,如下转载 2017-05-18 18:04:51 · 2520 阅读 · 0 评论 -
hive+haproxy+keepalived高可用配置
1、haproxy主[root@csslave03 ~]# cat/etc/haproxy/haproxy.cfg #---------------------------------------------------------------------# Example configuration for a possible webapplication. See the#原创 2017-05-23 21:39:46 · 819 阅读 · 0 评论 -
大数据DataNode 硬盘故障导致uuid变化问题处理
昨天大数据集群主一台主机硬盘io报错,经过停机维护后检查硬盘io读写正常后,加入集群。发现cloudera页面报错在查看主机log,发现有快硬盘报错2017-04-22 10:50:11,976 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /dn9/dfs/dn/in_use.lock acquired by原创 2017-04-22 13:29:31 · 3591 阅读 · 0 评论 -
Hadoop伪分布式安装学习笔记一
一、基础环境系统:centos6.5软件:hadoop2.4 二、安装root下让普通用户具有sudo权限vi /etc/sudoersroot ALL=(ALL) ALLhadoop ALL=(ALL) ALL 1、修改主机名和IP的映射关系vim /etc/hosts192.168.1.205 node12、关原创 2016-01-29 23:28:04 · 1066 阅读 · 0 评论 -
Hadoop-hdfs和mapreduce学习笔记二
Hadoop-hdfs和mapreduce一、初始hdfs1、HDFS管理界面。http://192.168.0.205:50070/ 上传文件hadoop fs -put jdk-7u65-linux-i586.tar.gzhdfs://node1:9000/再次网页上刷新查看。点击可以下载命令行下载hadoop原创 2016-01-29 23:48:27 · 754 阅读 · 0 评论 -
Centos7系统Hadoop集群cm5.9.0安装文档
Centos7系统Hadoop集群cm5.9.0安装文档安装包cm包cloudera-manager-centos7-cm5.9.0_x86_64.tar.gz 下载地址:http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.9.0_x86_64.tar.gz CDH安装包 地址:h转载 2017-12-13 21:00:52 · 412 阅读 · 0 评论