大数据技术
文章平均质量分 94
大数据相关技术~
Zerooooooooooooooooo
这个作者很懒,什么都没留下…
展开
-
Hadoop安装
Hadoop的安装说明:这里以三个node为例1、将hadoop-2.6.4.tar.gz上传至服务器2、解压: tar -zxvf hadoop-2.6.4 -C apps/3、配置3.1 配置java环境变量 3.2 配置core-site.xml 3.3 配置hdfs-site.xml(跟hdfs相关的参数,刚开始原创 2018-01-07 20:44:12 · 219 阅读 · 0 评论 -
高可用Hadoop集群的搭建
一、集群节点说明 这里用7个节点做Hadoop的HA,其中3台做zookeeper集群,3台做edits文件收集的journalnode集群,2台做失败切换zkfc,2台namenode,3台datanode,2台reourcemanage,3台nodemanager。具体的集群资源分配及ip规划如下: 主机名 IP 安装软件 mini1 192.168.9.201 JD原创 2018-02-17 16:58:37 · 547 阅读 · 0 评论 -
HBase安装,配置
一、上传hbase软件,并解压tar -zxvf hbase-0.94.6.tar.gz二、修改环境变量vi /etc/profile# 添加内容:export HBASE_HOME=/home/hadoop/apps/hbaseexport PATH=$PATH:$HBASE_HOME/binsource /etc/proflie三、修改配置文件3...原创 2018-02-18 03:16:42 · 374 阅读 · 0 评论 -
ElasticSearch配置文件说明
ElasticSearch配置文件说明1、cluster.name:elasticsearch配置es的集群名称,默认是elasticsearch,es会自动发现在同一网段下的es,如果在同一网段下有多个集群,就可以用这个属性来区分不同的集群。2、node.name:”FranzKafka”节点名,默认随机指定一个name列表中名字,该列表在es的jar包中config文件原创 2018-01-21 18:53:59 · 879 阅读 · 0 评论 -
Elasticsearch-jdbc使用说明
一、elasticsearch-jdbc简介 elasticsearch-jdbc是一个将关系型数据库(RDBMS)数据导入到ElasticSearch库中的一个工具包,支持mysql、oracle、postgrey、csv等存储列式数据的容器。目前最新的版本是2.3.4.1,支持的ElasticSearch的版本为2.3.4。二、elasticsearch-jdbc的简单使用1原创 2018-01-14 21:25:46 · 9588 阅读 · 0 评论 -
Elasticsearch:用Curator辅助Marvel,实现自动删除旧marvel索引
转载自:http://blog.csdn.net/hereiskxm/article/details/47423715Marvel几乎是所有Elasticsearch用户的标配。以前我常用bigdesk来做ES集群的监控,直到项目需要上线时,方感觉到marvel才是想要的:它可以把观测值和重要事件记录下来!当出问题时打开bigdesk已经迟了,因为我们往往想知道过去的两小时发生了什么造成现转载 2018-01-23 13:27:17 · 290 阅读 · 0 评论