大数据
盼汕
空山新雨后,天气晚来秋。
明月松间照,清泉石上流。
展开
-
vmware centos hadoop分布式集群搭建 粗略笔记
初始设定: 虚拟了三个CentOs系统(安装CentOs的步骤省略),一台master 两台slave,用户名全部为hadoop,具体如下(除了第一步使用root用户操作,其他均使用hadoop用户): 1.新增hadoop用户 第一步:groupadd 新建用户组 groupadd hadoop 这是创建hadoop用户组 第二步:useradd -m -g 已创...原创 2018-09-16 12:40:56 · 387 阅读 · 0 评论 -
Hbase-HA搭建(两个HMaster)
1.配置 1.1.环境配置 配置HBASE_HOME(部分参数路径基于此配置,比方说log) vi ~/.bash_profile PATH=$PATH:$HOME/bin export JAVA_HOME=/home/hadoop/env/jdk1.7.0_80 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:...原创 2019-02-15 17:59:39 · 3849 阅读 · 0 评论 -
Hadoop-HA配置笔记
1.zookeeper集群 1.1.启动zookeeper集群 查看jps,都有QuorumPeerMain 查看./bin/zkServer.sh status 有leader,有follower,ok 1.2.进入zookeeper的shell 通过./bin/zkCli.sh进入shell 通过ls /查看根目录情况 [zk: localhost:2181(CONNECTED) 0] ls ...原创 2019-02-15 17:55:54 · 310 阅读 · 0 评论 -
简单搭建ntp服务
1.检查ntp服务是否已经安装 sudo rpm -qa | grep ntp 显示已经安装ntp程序。如果安装过,应该有两个进程: ntpdate… 用来和某台服务器同步 ntp… 用来提供时间同步服务 如果没有,就通过yarn install -y ntp安装下 2.修改配置文件ntp.conf vi /etc/ntp.conf 2.1 启用restrice 取消注释 restrict 19...原创 2019-02-15 17:47:05 · 494 阅读 · 0 评论 -
Kafka java生产和消费
在Kafka分布式搭建完成的基础上,进行java调用测试。 1.建立测试项目 通过maven去创建项目,pom.xml如下: <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients --> <dependency> &l原创 2018-10-23 22:34:50 · 398 阅读 · 0 评论 -
Redis单机和集群搭建(笔记)
单机部署 1.下载安装包 http://download.redis.io/releases/ 找一个版本,注意,要确保ruby里有对应版本,不能太新,否则集群无法搭建 wget http://download.redis.io/releases/redis-4.0.1.tar.gz 2.解压安装 tar -xzvf redis-4.0.1.tar.gz cd redis-4.0.1/ make...原创 2018-10-28 13:36:14 · 312 阅读 · 0 评论 -
Kafka分布式集群搭建
在zookeeper分布式搭建完成的基础上,开始kafka集群搭建 1.下载准备安装包 kafka:http://kafka.apache.org/downloads 下载 kafka_2.12-2.0.0.tgz 2.更改配置文件 先对一个节点上的进行修改,打开config/server.properties 每个版本的配置文件多少会有所调整,所以,我们就只关注需要部署的版本去查看它所需配置的要...原创 2018-10-22 18:29:37 · 330 阅读 · 0 评论 -
ElasticSearch集群搭建,集成中文分词,建立全文检索索引(笔记)
准备工作: 1.三个虚拟机节点,安装centos6x 2.根据客户端的jdk情况,准备elasticsearch版本 3.对应版本jdk 4.elasticSearch对应版本的中文分词插件 5.对应版本的head插件 6.不考虑kibana,所以直接考虑chrome的sense插件 1.虚拟机每个节点建立elastic用户和组 groupadd elastic useradd -m -g ela...原创 2018-09-27 20:15:00 · 3004 阅读 · 0 评论 -
HBase分布式集群搭建(Hbase内置zookeeper) 粗略笔记
hbase和hadoop一样也分为单机版、伪分布式版和完全分布式集群版本。 这里记录分布式集群搭建(注:没有安装独立的zookeeper,使用了hbase自带的zookeeper。) 1.准备好压缩包,配置环境 基于hadoop版本是hadoop2.5.x,hbase使用1.2.6 scp hbase-1.2.6-bin.tar.gz hadoop@master:~/tmp...原创 2018-09-16 12:50:46 · 4112 阅读 · 1 评论 -
ElasticSearch5.x 生产环境集群部署
系统基于centos7.x,5个节点 1.添加用户 [root@os ~]# groupadd elastic [root@os ~]# useradd elastic -g elastic 2.配置系统内存交换 在/etc/sysctl.conf中添加以下三行: vim /etc/sysctl.conf #当内存危机时,尽量回收内存:0.尽量回收1.尽量不回收 vm.zone_reclai...原创 2019-09-14 10:29:58 · 472 阅读 · 0 评论