hadoop
king_eagle2015
刚刚起航的向往计算机领域的后备力量
展开
-
Hadoop安装(一)zookeeper集群安装
本教程使用liunx系统centos 7.0,hadoop2.7.4,zookeeper 3.4.10版本,jdk 1.8。hadoop部署4个节点,2个nameNode节点,4个dataNode节点。zookeeper部署3个节点。 一、修改4台服务器名称 1.vim/etc/sysconfig/network ETWORKING=y原创 2017-12-22 09:59:09 · 544 阅读 · 1 评论 -
hadoop 集群安装(二) HA部署
继上篇博客《Hadoop安装(一)zookeeper集群安装》后,我们已经搭建了hadoop所需要的免密码通信环境,以及高可用zookeeper集群,下面进入hadoop的高可用安装部署: 1. 下载解压hadoop文件 : tar -zxvf hadoop-2.7.4.tar.gz 2. 配置hadoop-2.7.4/etc/hadoop原创 2017-12-22 10:21:28 · 400 阅读 · 1 评论 -
hadoop 集群安装(三) hbase安装
继上篇博客介绍《hadoop集群安装(二)HA部署》后,本节介绍在hadoop集群安装HBase。 1.下载解压文件到制定目录: wget http://apache.fayea.com/hbase/stable/hbase-1.2.2-bin.tar.gz2、配置主要修改conf目录下的三个文件:hbase-env.sh、hbase-site.xml、re原创 2017-12-23 15:16:35 · 516 阅读 · 1 评论 -
ES报错“Result window is too large”参悟大数据思维
ES在数据搜索上提供了强大支持,但其耗费内存代价也是巨大的。因为第一次使用ElasticSearch,在做分页的时候没有注意,分页插件显示了最后一页,今天做压测,单台es的数据达到2亿数据,每页显示20条的情况下需要500万页。 直接点第500万页的时候出现了“Result window is too large”报错,搜索一下网络,原来ES设置了默认最大窗口数量index.原创 2017-12-06 13:41:30 · 1023 阅读 · 1 评论 -
springboot配置kafka与原生kafka配置
搭建kafka要注意版本问题,本教程使用的kafka版本是kafka_2.11-0.11.0.2.tgz;首先看下spring-boot链接kafka的使用。 1. 添加pom依赖 org.springframework.boot spring-boot-starter-web 1.5.8.RELEASE--> org.apache.kafka kafka原创 2017-12-06 13:15:33 · 26212 阅读 · 8 评论 -
Atlas源码解读(1)图数据库JanusGraph
Aparche Atlas是Hadoop数据治理与元数据框架,提供了高效数据查询与分类系统,同时支持数据审计与数据血缘关系的建立。小编认为随大数据发展,数据结构与类型将越来越复杂,元数据治理与数据关系建立将是完成数据挖掘,实现人工智能的重要前提。 Atlas收集大数据组件元数据通过集成构件kafka传输至底层数据处理构件JanusGraph,J...原创 2019-09-04 15:11:02 · 3734 阅读 · 2 评论