hadoop相关工具
jasligea
这个作者很懒,什么都没留下…
展开
-
Geomesa-accumulo安装部署过程及运行测试实例
一、前期准备工作:1、基础环境JDK安装配置 (下载对应JDK包并进行环境变量配置),使用java -version查看如下显示,jdk环境配置成功;2、基础依赖环境Hadoop及zookeeper安装配置成功并需要启动(可参照hadoop集群环境及zookeeper环境配置说明文档);可使用jps命令查看,hadoop及zookeeper是否启动成功可参照我相关的文档资料:...原创 2018-10-11 10:21:35 · 988 阅读 · 8 评论 -
在centos 7.3上进行Apache HAWQ集群安装部署
一、前期准备工作1、准备三台物理机,master(192.168.251.8),dataserver1(192.168.251.9),dataserver2(192.168.251.10);2、目前最新版本是2.4.0,官网下载地址:http://hawq.apache.org/源码编辑及安装Apache官方文档地址为:https://cwiki.apache.org/conflu...原创 2018-10-22 16:36:16 · 1453 阅读 · 0 评论 -
kafka常用命令
kafka常用命令总结如下:前提先进入到kafka目录下, cd /usr/local/kafka/bin 在执行下面各项命令1、创建主题#创建主题./kafka-topics.sh --create --zookeeper 192.168.0.1:2181 --replication-factor 2 --partitions 1 --topic test-kafka#说明1...原创 2018-10-16 14:28:38 · 172 阅读 · 0 评论 -
hadoop\zookeeper\hbase集群重启后出现的相关问题
1、在集群上的主节点/usr/local/hadoop/bin目录下,执行./start-dfs.sh命令后,只有主节点下的namenode进行启动,分支节点中的datanode没有正常启动解决方式:1)删除hadoop目录中的tmp目录文件及log目录文件(集群中所有节点)2)在bin目录中重新格式化hadoop namenode -format3)重新启动hdfs及yarn进程...原创 2018-09-28 16:12:08 · 682 阅读 · 0 评论 -
centos7.3上部署Habse集群及遇到的问题
一、前期准备工作1、下载hbase安装包Hbaser官方下载地址:http://mirror.bit.edu.cn/apache/hbase/目前安装的版本为:hbase-2.0.2-bin.tar.gz2、准备好要安装的集群环境的目标机器3、将下载好的压缩包拷贝到集群机器中----可利用shell软件的rz命令进行拷贝4、安装JDK,可参照:https://blog....原创 2018-09-28 15:19:45 · 330 阅读 · 0 评论 -
centos7.3上部署zookeeper集群环境
一、前期准备1、下载zookeeper安装包zookeeper官方下载地址:http://www-eu.apache.org/dist/zookeeper/zookeeper-3.5.3-beta.tar.gz2、准备好要安装的集群环境的目标机器3、将下载好的压缩包拷贝到集群机器中----可利用shell软件的rz命令进行拷贝4、安装JDK,可参照:https://bl...原创 2018-09-27 16:37:41 · 635 阅读 · 0 评论 -
centos7.3中搭建hadoop分布式集群环境详细过程
一、准备工作1、准备3台物理机或者虚拟机;2、安装centos7系统;3、准备好相关软件包并拷贝相关软件到目标服务器上hadoop-2.9.0.tar.gzjdk-8u131-linux-x64.tar.gz二、配置网络1、设置静态网络ip1)设置静态ip的文件路径在:cd /etc/sysconfig/network-scripts/目录中2)打开对应的网...原创 2018-09-27 14:52:13 · 925 阅读 · 1 评论 -
centos7中kafka集群环境搭建部署
一、前期准备1、下载kafka安装包官方下载地址:http://kafka.apache.org/downloads.htmlkafka_2.11-2.0.0.tgz 2、准备好要安装的集群环境的目标机器(3台安装centos7系统)3、将下载好的压缩包拷贝到集群机器中----可利用shell软件的rz命令进行拷贝或者使用winSCP工具4、安装JDK,可参照:ht...原创 2018-10-11 18:07:27 · 1234 阅读 · 0 评论 -
搭建hadoop伪分布式集群环境过程中遇见的问题总结
1、网络配置问题:在centos7中配置网络环境后,本机(win10系统)与虚拟机centos7网络不通(本机可以ping通虚拟机,但是虚拟机ping不通本机);解决方式:方式1:查看本机win10系统的防火墙是否关闭,若没有,直接关闭win10系统的防火墙即可;方式2:修改本机配置:windows防火墙-高级设置-入站规则-虚拟机监控(回显请求-ICMPv4-Ln),把这项启用即...原创 2018-10-11 11:35:50 · 3922 阅读 · 0 评论 -
yarn/zookeeper/solr/elasticsearch概况总结
一、Yarn简单概况Yarn为Hadoop资源管理系统;核心是将MapReduce V2 中的JobTracker分离,创建一个全局的ResourceManager和若干个针对应用程序的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配,而ApplicationMaster负责单个应用程序的管理。基本架构如下所示:1)Yarn构成:主要由...原创 2018-10-11 11:26:06 · 439 阅读 · 0 评论 -
hadoop体系框架的简单总结
一、hadoop成员简单介绍说明Apache Hadoop: 是Apache开源组织的一个分布式计算开源框架,提供了一个分布式文件系统 (HDFS)和支持MapReduce分布式计算的软件架构。 Apache Hive:是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十...原创 2018-10-11 10:58:11 · 1275 阅读 · 0 评论 -
HAWQ上安装PXF插件,并访问HDFS文件数据
1、说明 HAWQ在github上的地址为:https://github.com/apache/hawq在安装pxf插件之前,可以先查看一下基础软件对应的版本信息:在hawq目录下的pxf/gradle.properties文件中因我在安装pxf之前,已经把hadoop及hawq安装完,在后期所需低版本的hdfs,需要重新指定低版本的路径(主要是jar包的路径)使用的hadoop版本为...原创 2018-11-10 19:39:42 · 1368 阅读 · 0 评论