大数据
盼汕
空山新雨后,天气晚来秋。
明月松间照,清泉石上流。
展开
-
vmware centos hadoop分布式集群搭建 粗略笔记
初始设定:虚拟了三个CentOs系统(安装CentOs的步骤省略),一台master 两台slave,用户名全部为hadoop,具体如下(除了第一步使用root用户操作,其他均使用hadoop用户):1.新增hadoop用户第一步:groupadd 新建用户组groupadd hadoop 这是创建hadoop用户组第二步:useradd -m -g 已创...原创 2018-09-16 12:40:56 · 692 阅读 · 0 评论 -
Hbase-HA搭建(两个HMaster)
1.配置1.1.环境配置配置HBASE_HOME(部分参数路径基于此配置,比方说log)vi ~/.bash_profilePATH=$PATH:$HOME/binexport JAVA_HOME=/home/hadoop/env/jdk1.7.0_80export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:...原创 2019-02-15 17:59:39 · 3932 阅读 · 0 评论 -
Hadoop-HA配置笔记
1.zookeeper集群1.1.启动zookeeper集群查看jps,都有QuorumPeerMain查看./bin/zkServer.sh status有leader,有follower,ok1.2.进入zookeeper的shell通过./bin/zkCli.sh进入shell通过ls /查看根目录情况[zk: localhost:2181(CONNECTED) 0] ls ...原创 2019-02-15 17:55:54 · 323 阅读 · 0 评论 -
简单搭建ntp服务
1.检查ntp服务是否已经安装sudo rpm -qa | grep ntp显示已经安装ntp程序。如果安装过,应该有两个进程:ntpdate… 用来和某台服务器同步ntp… 用来提供时间同步服务如果没有,就通过yarn install -y ntp安装下2.修改配置文件ntp.confvi /etc/ntp.conf2.1 启用restrice取消注释 restrict 19...原创 2019-02-15 17:47:05 · 503 阅读 · 0 评论 -
Kafka java生产和消费
在Kafka分布式搭建完成的基础上,进行java调用测试。1.建立测试项目通过maven去创建项目,pom.xml如下:<dependencies> <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients --> <dependency> &l原创 2018-10-23 22:34:50 · 409 阅读 · 0 评论 -
Redis单机和集群搭建(笔记)
单机部署1.下载安装包http://download.redis.io/releases/ 找一个版本,注意,要确保ruby里有对应版本,不能太新,否则集群无法搭建wget http://download.redis.io/releases/redis-4.0.1.tar.gz2.解压安装tar -xzvf redis-4.0.1.tar.gz cd redis-4.0.1/make...原创 2018-10-28 13:36:14 · 554 阅读 · 0 评论 -
Kafka分布式集群搭建
在zookeeper分布式搭建完成的基础上,开始kafka集群搭建1.下载准备安装包kafka:http://kafka.apache.org/downloads下载 kafka_2.12-2.0.0.tgz2.更改配置文件先对一个节点上的进行修改,打开config/server.properties每个版本的配置文件多少会有所调整,所以,我们就只关注需要部署的版本去查看它所需配置的要...原创 2018-10-22 18:29:37 · 338 阅读 · 0 评论 -
ElasticSearch集群搭建,集成中文分词,建立全文检索索引(笔记)
准备工作:1.三个虚拟机节点,安装centos6x2.根据客户端的jdk情况,准备elasticsearch版本3.对应版本jdk4.elasticSearch对应版本的中文分词插件5.对应版本的head插件6.不考虑kibana,所以直接考虑chrome的sense插件1.虚拟机每个节点建立elastic用户和组groupadd elasticuseradd -m -g ela...原创 2018-09-27 20:15:00 · 3039 阅读 · 0 评论 -
HBase分布式集群搭建(Hbase内置zookeeper) 粗略笔记
hbase和hadoop一样也分为单机版、伪分布式版和完全分布式集群版本。 这里记录分布式集群搭建(注:没有安装独立的zookeeper,使用了hbase自带的zookeeper。)1.准备好压缩包,配置环境基于hadoop版本是hadoop2.5.x,hbase使用1.2.6 scp hbase-1.2.6-bin.tar.gz hadoop@master:~/tmp...原创 2018-09-16 12:50:46 · 4338 阅读 · 1 评论 -
ElasticSearch5.x 生产环境集群部署
系统基于centos7.x,5个节点1.添加用户[root@os ~]# groupadd elastic[root@os ~]# useradd elastic -g elastic2.配置系统内存交换在/etc/sysctl.conf中添加以下三行:vim /etc/sysctl.conf#当内存危机时,尽量回收内存:0.尽量回收1.尽量不回收vm.zone_reclai...原创 2019-09-14 10:29:58 · 499 阅读 · 0 评论