BI
nalnait
这个作者很懒,什么都没留下…
展开
-
Apache,CDH和Cloudera三者有什么区别
1、Hortonworks Hadoop区别于其他的Hadoop发行版(如Cloudera)的根本就在于Hortonworks的产品均是百分之百开源。2、Cloudera有免费版和企业版,企业版只有试用期。3、apache hadoop则是原生的hadoop。4、目前在中国流行的是apache hadoop,Cloudera CDH,当然Hortonworks也有用的。5、Apache Ambar...转载 2018-06-11 21:30:55 · 9550 阅读 · 1 评论 -
基于ambari的hadoop集群和spark安装
简介:在两台服务器(一台为ubuntu14.04,另一台为redhat 6)上通过ambari搭建hadoop环境,并启用spark。 打算将ubuntu作为server,redhat 6作为client。1. 实现两台服务器的互相无密登陆ubuntu的ip为10.20.31.202,主机名(hostname)为server204,全限定域名FQDN为server204red...转载 2018-06-10 09:04:59 · 2545 阅读 · 0 评论 -
centos下mysql问题记录--ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/
一、关于云主机的mysql最近一次云主机的服务器由于被攻击便打算重装一边mysql,彻底删除相关文件后重新安装,没想到怎么装都会出问题。再启动的时候总是出现ERROR 2002 (HY000): Can’t connect to local MySQL server through socket ‘/var/lib/mysql/mysql.sock’ (2),网上很多人回答是权限的问题,这确实后一...转载 2018-06-10 09:20:30 · 16407 阅读 · 0 评论 -
尝鲜系列之手把手教你搭建Ambari2.0.0(在线环境)
1. 资源准备:1.1下载ambari repository http://public-repo-1.hortonworks.com/ambari/centos6/ambari-2.0.0-centos6.tar.gz1.2下载Hortonworks repository http://public-repo-1.hortonworks.com/HDP/centos6/HDP-2.2.0.0...转载 2018-06-10 09:32:29 · 171 阅读 · 0 评论 -
【Hadoop】使用Ambari安装部署Hadoop集群(原)
部署环境使用4台机器,OS使用CentOS7,部署图如下:Paste_Image.png环境准备1、节点间互信# ssh-keygen -t rsa# cat .ssh/id_rsa.pub >> .ssh/authorized_keys# scp .ssh/authorized_keys hadoop-node1:~/.ssh/authorized_keys将所有节点的rsa公...转载 2018-06-10 09:36:39 · 9163 阅读 · 1 评论 -
Ambari——大数据平台的搭建利器之进阶篇[配置spark]
虽然大数据越来越流行,但其学习的门槛却一直阻碍着很多的初学者,而且各个产品之间的集成和维护也显得比较困难。不管是 Hadoop V1 或者 V2 的安装,又或者 Spark/YARN 等的集成,都不是几行简单的命令,而是要关联到许多的配置。有了 Ambari,这些都不再是难题前言本文适合已经初步了解 Ambari 的读者。对 Ambari 的基础知识,以及 Amba...转载 2018-06-10 09:54:09 · 1021 阅读 · 0 评论 -
Ambari 在线安装
摘要:安装所需条件2.1操作系统的需求RedHatEnterpriseLinux(RHEL)版本5.x或者6.x(64位)CentOS版本5.x或者6.x(64位)OracleLinux版本5.x或者6.x(64位)SUSELinuxEnterpriseServer(SLES)11,SP1(64位)2.2软件的需求在你的每一台主机上都要安装以下软件:(selinux上自带的...转载 2018-06-10 09:57:51 · 864 阅读 · 0 评论 -
CentOS-7.2安装Ambari-2.4.2
一,Ambari 是什么? Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目。目前最新的发布版本是 2.4.2。就 Ambari 的作用来说,就是创建、管理、监视 Hadoop 的集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeepe...转载 2018-06-10 09:59:31 · 1179 阅读 · 0 评论 -
centos安装Ambari
Hadoop 管理监控工具 Apache Ambari Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。Apache Ambari 支持HDFS、MapReduce、Hive、Pig...转载 2018-06-11 22:51:56 · 311 阅读 · 0 评论 -
HDP Ambari两个问题小结
昨日玩HDP Ambari,遇到两个问题,在此总结一下,以防以后再遇到同类问题可以快速入手。问题一现象 ambari界面中各组件看不到状态信息,查看ambari server日志发现有如下报错,28 May 2018 19:28:58,144 WARN [qtp-ambari-agent-198] nio:720 - javax.net.ssl.SSLException: Received fa...转载 2018-06-11 22:54:29 · 849 阅读 · 0 评论 -
Ambari agent- [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed
如果出现标题的错误或者以下错误:28 May 2018 19:28:58,144 WARN [qtp-ambari-agent-198] nio:720 - javax.net.ssl.SSLException: Received fatal alert: unknown_caambari agent logWARNING 2018-05-28 19:36:58,328 NetUtil.py...原创 2018-06-11 22:59:22 · 779 阅读 · 0 评论 -
ambari 离线安装
先明确几个概念:1. Ambari只能安装Hortonworks Data Platform,即Hortonworks的开源Hadoop,不支持Apach的Hadoop平台;2. 对于已经安装了Apach Hadoop或者其他Hadoop平台的,不能使用Ambari来管理; 再说几个注意事项:1. Ambari默认的安装方式是使用yum,从远程下载HDP组件安装,而HDP平台安装包都非常大(本例中...转载 2018-06-11 23:00:34 · 1161 阅读 · 1 评论 -
ambari安装指南
ambari的安装其实很简单,根据版本不同,每个版本会有两种安装方式,一种是直接从Public Repositories安装(相当于是帮你所有需要组件之类的都已经封装好了,不需要你做额外的事情,直接进入安装步骤);一种是从Source装,这种就是需要你先去装各种需要的软件,后面才能开始进入ambari的安装配置,且中间过程很容易出现各种各样的问题。一般人装ambari主要就是为了自动化地部署had...转载 2018-06-12 07:34:29 · 483 阅读 · 0 评论 -
大数据平台部署-----ambari在线和离线安装
一、在线编译安装1.1. 安装独立maven1.1.1. 下载Mavenwget http://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.5.2/binaries/apache-maven-3.5.2-bin.tar.gz 1.1.2. 解压安装Maventar -xzvf apache-maven-3....转载 2018-06-10 10:00:36 · 1068 阅读 · 0 评论