- 博客(6)
- 资源 (11)
- 收藏
- 关注
原创 hadoop 集群安装(三) hbase安装
继上篇博客介绍《hadoop集群安装(二)HA部署》后,本节介绍在hadoop集群安装HBase。 1.下载解压文件到制定目录: wget http://apache.fayea.com/hbase/stable/hbase-1.2.2-bin.tar.gz2、配置主要修改conf目录下的三个文件:hbase-env.sh、hbase-site.xml、re
2017-12-23 15:16:35 526 1
原创 hadoop 集群安装(二) HA部署
继上篇博客《Hadoop安装(一)zookeeper集群安装》后,我们已经搭建了hadoop所需要的免密码通信环境,以及高可用zookeeper集群,下面进入hadoop的高可用安装部署: 1. 下载解压hadoop文件 : tar -zxvf hadoop-2.7.4.tar.gz 2. 配置hadoop-2.7.4/etc/hadoop
2017-12-22 10:21:28 426 1
原创 Hadoop安装(一)zookeeper集群安装
本教程使用liunx系统centos 7.0,hadoop2.7.4,zookeeper 3.4.10版本,jdk 1.8。hadoop部署4个节点,2个nameNode节点,4个dataNode节点。zookeeper部署3个节点。 一、修改4台服务器名称 1.vim/etc/sysconfig/network ETWORKING=y
2017-12-22 09:59:09 570 1
原创 ES报错“Result window is too large”参悟大数据思维
ES在数据搜索上提供了强大支持,但其耗费内存代价也是巨大的。因为第一次使用ElasticSearch,在做分页的时候没有注意,分页插件显示了最后一页,今天做压测,单台es的数据达到2亿数据,每页显示20条的情况下需要500万页。 直接点第500万页的时候出现了“Result window is too large”报错,搜索一下网络,原来ES设置了默认最大窗口数量index.
2017-12-06 13:41:30 1047 1
原创 springboot配置kafka与原生kafka配置
搭建kafka要注意版本问题,本教程使用的kafka版本是kafka_2.11-0.11.0.2.tgz;首先看下spring-boot链接kafka的使用。 1. 添加pom依赖 org.springframework.boot spring-boot-starter-web 1.5.8.RELEASE--> org.apache.kafka kafka
2017-12-06 13:15:33 26350 8
原创 方便快捷的HTTP匹配
Http中常用到添加白名单,现在的业务是针对每一个ip配置不同的匹配规则来达到权限控制,这样,针对同一个ip在不能出现重复规则。 因为用户输入的内容是复杂的,允许单个输入ip,也允许输入ip地址段,因此,需要提供一个工具类来匹配该ip是否已经存在。 整体思想,讲用户输入的所有ip和ip段放入list集合中,在工具类调用时,将单个ip存放入list中,地
2017-12-05 09:59:11 482 1
秒杀业务实现
2018-10-29
软件需求说明书模板
2018-09-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人