hadoop
文章平均质量分 73
蜗牛@漫步
这个作者很懒,什么都没留下…
展开
-
hudi安装
数据湖hudi安装教程原创 2022-07-04 16:09:10 · 2381 阅读 · 0 评论 -
Centos6安装CDH5.15.1最详细版-5 浏览器安装ClouderaManager
浏览器访问地址:http://hadoop-2:7180cloudera-scm-server访问这个地址要等一会大约几分钟,重启以后重新配置数据库及创建表需要时间原创 2018-10-02 23:17:43 · 917 阅读 · 1 评论 -
ntp服务在线同步时间
本人安装的CDH集群,主机关机一段时间后,开机发现时间相差很多,之前配置的是本地时间,所以要同步在线时间。之前的配置如下图:现在时间:关闭ntp服务service ntpd stop同步时间ntpdate 0.cn.pool.ntp.org启动服务service ntpd start测试在次查看时间正常:附一些可用的同步时钟:server 0...原创 2018-10-06 21:17:28 · 3669 阅读 · 0 评论 -
Apache Atlas 安装
官网:http://atlas.apache.org/Downloads.html一般安装会让大家去官网下载包,然后自己编译,时间较长,也容易出现各种错误,我这里编译好一个,分享给大家,直接用这个解压就可以用了,很方便链接:https://download.csdn.net/download/weixin_36939535/10726594以下是正常安装方式:先在官网上下载资源包。我...原创 2018-10-17 14:51:22 · 2301 阅读 · 3 评论 -
CDH安装Geomesa
在前面的文章中,楼主介绍过Geomesa的安装,不过都是基本独立组件的hadoop、zk、hbase等,本次讲解CDH集群安装Geomesa的过程。CDH的安装楼主之前文章也写过,大家可以翻翻参考下。进入正题,CDH安装Geomesa:下载安装包第一步当然是找安装包,可以自己编译,参考我之前的文章前几步。https://blog.csdn.net/weixin_36939535/art...原创 2018-11-06 22:13:00 · 1165 阅读 · 3 评论 -
CDH5.15升级最新版spark2.3
之前安装CDH5.15后,spark版本是1.6,太低了,这里说一下安装最新版spark2.3,因为1.6和2.3是可以共存的,所以也不能算是升级了,不啰嗦,上干货。下载安装包到CDH官网下载对应的spark的parcel包到CDH官网下载对应的spark的parcel包http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera4/...原创 2018-11-27 15:26:22 · 1130 阅读 · 1 评论 -
CentOS安装HDP集群-1 安装mysql、Ambari
安装HDP前,先要安装Ambari,它提供了图形化安装和管理hadoop集群。CDH官网:https://docs.hortonworks.com/index.html可以选择版本下载:然后点安装后面就到安装文档页面了,后面可以根据它来安装了。本次安装环境介绍下,系统:CentOS6.8,三台主机,安装Ambari2.6.2,HDP2.6.5用root用户安装。基础环境准备:...原创 2018-12-28 11:49:43 · 785 阅读 · 0 评论 -
CentOS安装HDP集群-3 使用Ambari安装HDP集群
在上篇文章中,已经介绍并安装了Ambari服务器,给个链接:https://blog.csdn.net/weixin_36939535/article/details/85275596这里就用它来部署HDP集群,体验一下 Ambari 的方便之处。1. 启动Ambari集群安装向导在Ambari Welcome页面中,选择Launch Install Wizard。2. 给集群起个名字...原创 2018-12-28 16:09:12 · 575 阅读 · 0 评论 -
CentOS安装HDP集群- 制作本地源
配置本地yum源1. 下载资源在官网上可以找到源地址,如图:以上做标记的都要下载,文件过大,时间有点慢,其中包含Ambari和HDP的源:这里把包全放在/usr/local/src/Ambari/目录下cd /usr/local/src/Ambari/# Ambari 2.6.2.2 Repositorieswget http://public-repo-1.hortonwor...原创 2018-12-29 10:24:03 · 595 阅读 · 1 评论 -
CentOS安装HDP集群 遇到的问题记录
这里主要记录一下安装hdp集群时遇到的问题。看过我博客的可能会知道我之前装的是Ambari2.6.2,HDP2.6.5,安装到这里出现各种问题,后来领导说版本低,自己就直接重装并提高了版本,安装的是最新版Ambari2.7.3和HDP3.1.0,系统CentOS7.2。前面安装过程都差不多,就不说了,到这里依然有各种错误。这里就记录下遇到的错误。错误1. ambari自动在我的/etc/yu...原创 2019-01-03 17:04:07 · 13858 阅读 · 4 评论 -
CentOS7.2安装HDP集群-1 环境准备
配置静态IPvi /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0HWADDR=00:0C:29:AF:65:27TYPE=EthernetUUID=269569e1-f888-4f73-b2f7-7af45225b572ONBOOT=yesNM_CONTROLLED=yesBOOTPROTO=noneIPADDR=1...原创 2019-01-02 21:38:37 · 222 阅读 · 0 评论 -
Spark核心技术原理透视一(Spark运行原理)
在大数据领域,只有深挖数据科学领域,走在学术前沿,才能在底层算法和模型方面走在前面,从而占据领先地位。Spark的这种学术基因,使得它从一开始就在大数据领域建立了一定优势。无论是性能,还是方案的统一性,对比传统的Hadoop,优势都非常明显。Spark提供的基于RDD的一体化解决方案,将MapReduce、Streaming、SQL、Machine Learning、Graph Processi...转载 2019-03-07 11:16:02 · 260 阅读 · 0 评论 -
Centos6安装CDH5.15.1最详细版-4 安装Cloudera Manager
配置网络yum源为阿里云源完全离线的话可以不做三台服务器都需要配置1.1 备份原来的配置mkdir -p /etc/yum.repos.d/bakmv /etc/yum.repos.d/*.repo /etc/yum.repos.d/bak1.2 下载新的CentOS-Base.repo 到/etc/yum.repos.d/wget -O /etc/yum.repos.d/Ce...原创 2018-10-02 18:25:36 · 958 阅读 · 0 评论 -
Centos6安装CDH5.15.1最详细版-3 安装Mysql数据库
安装Mysql建立目录,可以把CDH相关安装包都入在里面:mkdir -p /opt/software/cloudera/CDH-5.15.1本地网络太慢,这里都用服务器下载安装包,要先装wget服务。安装包准备Cloudera Manager安装包cm5.14.2-centos6.tar.gzwget http://archive.cloudera.com...原创 2018-10-02 17:44:13 · 1504 阅读 · 1 评论 -
GeoMesa操作HBase遇到的一些错误解决办法
1.错误一:java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/coprocessor/CoprocessorService具体如下:Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/coprocessor/Coproc...原创 2018-09-20 12:06:08 · 4139 阅读 · 2 评论 -
安装GeoMesa HBase小记1
1 下载安装包 wget https://github.com/locationtech/geomesa/releases/download/geomesa_2.11-2.0.2/geomesa-hbase_2.11-2.0.2-bin.tar.gz 解压,我安装在/usr/local下 sudo tar -xzvf geomesa-hbase_2.11-2.0.2-bin.tar.gz -...原创 2018-08-29 16:14:17 · 922 阅读 · 0 评论 -
hadoop安装记录1
本次安装集群信息: 192.168.201.91 hadoop-1 192.168.201.92 hadoop-2 192.168.201.56 hadoop-3 Linux系统:ubuntu 18.04LTS 公司安装的是最新的系统,cdh都还不能兼容,只能苦哈哈的一个个自己安装啦···============================================...原创 2018-08-29 16:33:58 · 124 阅读 · 0 评论 -
解决Unable to load native-hadoop library for your platform... using builtin-java classes。。。
网上参考他人资料,这里记录下 1、首先找到对应自己hadoop版本的64位的lib包,可以自己手动去编译,但比较麻烦,也可以去网上找,好多都有已经编译好了的。2、可以去网站:http://dl.bintray.com/sequenceiq/sequenceiq-bin/ 下载对应的编译版本wget http://dl.bintray.com/sequenceiq/sequenceiq-...转载 2018-08-29 18:03:10 · 20818 阅读 · 4 评论 -
在GeoServer中安装GeoMesa HBase
默认情况下,HBase GeoServer插件捆绑在GeoMesa二进制分发版中。 我的安装目录在/usr/local/geomesa-hbase_2.11-2.0.2下, 解压缩/usr/local/geomesa-hbase_2.11-2.0.2/dist/gs-plugins/geomesa-hbase-gs-plugin_2.11-2.0.2-install.tar.gz 到GeoS...原创 2018-09-03 10:17:02 · 1828 阅读 · 0 评论 -
hbase安装
1、上官网下载安装包,这里下载hbase-1.3.2.1-bin.tar.gzhbase-1.3.2.1-bin.tar.gz。 2、解压:sudo tar -xzvf hbase-1.3.2.1-bin.tar.gz -C /usr/local 3、将Hadoop/etc/hadoop下的配置文件hdfs-sie.xml和core-site.xml复制到hbase的conf目录下 cd ...原创 2018-09-03 11:53:47 · 154 阅读 · 0 评论 -
安装GeoMesa HBase小记-最终版
本人前几天安装GeoMesa HBase时,按照官网安装完成后,官网示例一直不能成功跑通,错误百出,准备放弃,吐槽一下官方文档,写的很烂,没啥发现,网上这方面资料很少,无意中发现一个叫铁头乔的网友的安装资料,虽然安装GeoMesa只有寥寥三行,但帮助很大,自己为何不能自己编译源码呢,于是开始按想法来实现。。。下面是重新安装过程:1 安装geomesagit clone https://...原创 2018-09-06 16:32:30 · 3453 阅读 · 13 评论 -
GeoMesa 整合GeoServer
首先把GeoMesa和GeoServer安装完成后,继续以下:1 将GEOMESA_HBASE_HOME/dist/gs-plugins/geomesa-hbase-gs-plugin_2.11-$VERSION-install.tar.gz解压到WBE-INF/lib路径下;tar -xvf /usr/local/geomesa-hbase_2.11-2.1.0-SNAPSHOT/d...转载 2018-09-06 17:19:51 · 1998 阅读 · 0 评论 -
hadoop、zookeeper、hbase、spark的启动和停止顺序
启动: 先启动hadoop集群(在master机器上依次运行start-dfs.sh->start-yarn.sh->mr-jobhistory-daemon.sh start historyserver) 然后启动zookeeper集群(在每个机器上运行bin/zkServer.sh start) 最后启动hbase(在master机器上运行bin/start-hbase...原创 2018-09-17 11:10:06 · 3801 阅读 · 0 评论 -
linux使用su切换用户提示 Authentication failure的解决方法
这个问题产生的原因是由于ubtun系统默认是没有激活root用户的,需要我们手工进行操作,在命令行界面下,或者在终端中输入如下命令:sudo passwdPassword:你当前的密码Enter new UNIX password:这个是root的密码Retype new UNIX password:重复root的密码然后会提示成功的信息。在说明一点,使用su和sudo是有区别的,使用...转载 2018-09-18 14:58:46 · 588 阅读 · 0 评论 -
Centos6安装CDH5.15.1最详细版-1 环境准备工作
我这里是之前装的三台虚拟机,如下:192.168.201.81 hadoop-1192.168.201.82 hadoop-2192.168.201.83 hadoop-3准备工作:配置静态IPvi /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0HWADDR=00:0C:29:AF:65:27TYPE=Etherne...原创 2018-09-30 22:47:22 · 1901 阅读 · 0 评论 -
Centos6安装CDH5.15.1最详细版-2 免密登录、java、ntp服务安装
配置ssh免密登录1)生成密钥ssh-keygen -t rsa执行后一路回车2)然后复制公钥cd ~/.ssh/cp id_rsa.pub authorized_keys# 下面的命令是把其他主机的公钥复制到本机ssh-copy-id -i hadoop-1ssh-copy-id -i hadoop-2ssh-copy-id -i hadoop-33)最后测试连...原创 2018-10-01 00:55:58 · 945 阅读 · 0 评论 -
安装GeoMesa HBase小记2
接着 安装GeoMesa HBase小记1 继续写。。。 上次写到测试如下: 测试官方示例: 下载并构建教程 git clone https://github.com/geomesa/geomesa-tutorials.git 编译: cd geomesa-tutorials mvn clean install -pl geomesa-tutorials-hbase/geo...原创 2018-08-30 17:34:17 · 957 阅读 · 4 评论