大数据平台
逍遥子_
重点关注大并发处理、分布式计算、微服务、物联网、大数据等领域
展开
-
CentOS7环境下搭建ElasticSearch
搭建环境在11.12.112.209主机,本文件主要说明搭建一个ES,如果多个es,只有让他们的配置文件中的集群名称cluster.name配置成一样,它们就会自动组成一个集群。一、搭建elasticsearch环境1.先将软件放在:/home/jason/bigdata/目录下,如下:[root@cluster209 bigdata]# pwd/home/jason/bigdat...原创 2017-04-18 17:23:15 · 6176 阅读 · 0 评论 -
CentOS7环境下搭建Kibana
本次安装的Kibana主要用于展示《CentOS7环境下搭建ElasticSearch》中搭建的ES,其详细安装部署过程如下所示:1.解压Kibana压缩包kafka_2.11-0.8.2.2.tgz到指定的目录/home/jason/bigdata/下如下所示:[root@cluster209 kibana-4.1.3-linux-x64]# pwd/home/jason/bigdata/kib原创 2017-04-18 17:24:56 · 4225 阅读 · 0 评论 -
centos7环境下搭建storm集群
前提:使用的zookeeper集群为:11.12.112.215:2181,11.12.112.216:2181,11.12.112.217:2181并且zookeeper集群已经启动成功;下面将以11.12.112.210服务器上为例,说明storm的部署过程:1、解压storm到目录/home/jason/bigdata/下:[root@clsserv210 bigdata]# pwd/hom原创 2017-04-18 17:27:49 · 3038 阅读 · 0 评论 -
CentOS7环境下搭建flume
一、flume安装与配置1.将flume解压到指定目录/home/jason/bigdata下:[root@clsserv202 bigdata]# pwd/home/jason/bigdata[root@clsserv202 bigdata]# ll总用量 4drwxrwxrwx. 8 root root 4096 9月 8 14:38 flume-1.6.02.将flume的目录添加到环境原创 2017-04-18 17:33:50 · 3390 阅读 · 0 评论 -
CentOS7环境下搭建Kafka
计划使用三台主机:11.12.112.206、11.12.112.207、11.12.112.208搭建Kafka集群环境,使用的zookeeper集群为:11.12.112.215:2181,11.12.112.216:2181,11.12.112.217:2181并且zookeeper集群已经启动成功;1.下载压缩包:kafka_2.11-0.8.2.2.tgz并将之放在某个目录下,例如:/h原创 2017-04-18 17:26:12 · 2872 阅读 · 0 评论 -
大数据平台在分布式服务中的应用
对大数据平台的一些理解大数据是目前比较火的领域,它涉及的领域比较广泛,例如数据挖掘、机器学习等等;所有这些基于数据的操作能够正常工作的前提是:搭建相应的大数据收集平台,在该平台中能够通过主动和被动的方式收集到足够的数据;一般情况下,大数据平台里的数据来源主要有:(1) 日志数据,相对于大数据平台,这是一种主动收集数据的方式;这种方式可能是大数据平台中最主要的数据来源,并且随着用户请求量、服务数量原创 2017-06-27 18:03:22 · 3752 阅读 · 2 评论