hadoop
文章平均质量分 86
LXYuuuuuu
没有什么是努力之后做不到的!!
展开
-
centos7.5安装kafka(支持外部连接)
安装kafka之前确保安装环境已经安装好jdk以及zk,并启动,以上有详细步骤,这里不再重复上传相应kafka安装包到/export/software/tar -zxvf kafka_2.11-1.0.0.tgz -C /export/servers/cd /export/servers/kafka_2.11-1.0.0/config/vim server.properties文件只保留以下内容,其余均注释掉即可broker.id=0host.name=本机ip(本处可..原创 2020-07-27 10:43:37 · 215 阅读 · 0 评论 -
centos7.5单机安装安装zookeeper
安装zk时应首先安装jdk,之前zk集群搭建时已有jdk安装步骤,这里不再重复集群安装地址:https://blog.csdn.net/LXYuuuuu/article/details/82747273上传相应zk的安装包到 /export/software/tar -zxvf zookeeper-3.4.9.tar.gz -C /export/servers/cd /export/servers/zookeeper-3.4.9/confcp zoo_sample.cfg ..原创 2020-07-27 10:31:07 · 222 阅读 · 1 评论 -
centos7.5搭建cdh5.13.0+mysql5.7或postgres
序言本文集群搭建为三台机器,cdh版本为5.13.0,以下是安装过程中所用到的软件包等,可以自行下载。一、前期准备1.安装环境系统:centos7.5/最小安装版本/64位内存:主节点 --> 32G/从节点 --> 16G三台机器组成小集群(物理机)cdh01cdh02cdh03需要下载的安装包cloudera-manager-centos...原创 2019-02-01 16:20:03 · 521 阅读 · 0 评论 -
相关连接(后续更新)
linux安装nginx_rtmp_model的时候报错解决unknown directive “rtmp” in /etc/nginx/nginx.conf:76https://stackoverflow.com/questions/37442819/unknown-directive-rtmp-in-etc-nginx-nginx-conf76centos 7.0 nginx 1.7.9...原创 2018-11-01 11:22:05 · 315 阅读 · 0 评论 -
hadoop启动
安装完hadoop集群之后,第一次启动之前必须初始化,之后就可以不用再初始化(注意:初始化操作只可以一次)hdfs namenode -format (hadoop namenode -format)一键启动start-all.sh一键关闭stop-all.shnode001启动进程32881 NodeManager32370 NameNode32771 ...原创 2018-11-01 10:38:03 · 531 阅读 · 0 评论 -
hadoop集群搭建
同步时间设置主机名配置ip、主机名映射配置SSH免密登录配置防火墙JDK环境安装上传hadoop安装包到/export/softwares/tar -zxvf hadoop-2.7.4-with-centos-6.7.tar.gz -C /export/servers/修改配置文件hadoop-env.shexport JAVA_HOME=/export/serv...原创 2018-11-01 10:35:20 · 168 阅读 · 0 评论 -
网站日志流量分析采集(LuaJIT系统环境部署-node03,相关jar包自己手动上传)
注:/usr/local/src 是源码包路径,可以自己更改服务器中安装依赖yum -y install gcc perl pcre-devel openssl openssl-devel上传 LuaJIT-2.0.4.tar.gz 并安装 LuaJITtar -zxvf LuaJIT-2.0.4.tar.gz -C /usr/local/src/cd /usr/loc...原创 2018-11-01 10:34:01 · 183 阅读 · 0 评论 -
sqoop加载mysql数据库
./bin/sqoop list-databases --connect jdbc:mysql://node-001:3306/ --username root --password hadoop原创 2018-10-17 14:30:37 · 1053 阅读 · 0 评论 -
开启hadoop集群
首先开启zookeeperzkServer.sh startstart-all原创 2018-10-17 14:29:43 · 350 阅读 · 0 评论 -
连接hive
bin/hiveserver2 nohup bin/hiveserver2 1>/var/log/hiveserver.log 2>/var/log/hiveserver.err &启动成功后,可以在别的节点上用beeline去连接bin/beeline -u jdbc:hive2://mini1:10000 -n root或者bin/beeline! co...原创 2018-09-18 19:26:51 · 482 阅读 · 0 评论 -
zookeeper集群的搭建(三台相同)
查看jdkjava -version卸载自带jdkrpm -qa|grep javarpm -e --nodeps tzdata-java-2015e-1.el6.noarchrpm -e --nodeps java-1.6.0-openjdk-1.6.0.35-1.13.7.1.el6_6.x86_64rpm -e --nodeps java-1.7.0-openjdk-1...原创 2018-09-17 19:00:32 · 276 阅读 · 0 评论 -
Elasticsearch下安装ik分词器
安装ik分词器(必须安装maven) 上传相应jar包解压到相应目录 unzip elasticsearch-analysis-ik-master.zip(zip包)cp -r elasticsearch-analysis-ik-master /export/servers/cd elasticsearch-analysis-ik-master/mvn package -Pdist,...原创 2018-09-10 15:27:55 · 194 阅读 · 0 评论 -
Elasticsearch的安装
单节点安装 上传安装包到相应目录解压安装包 tar -zxvf elasticsearch-6.1.1.tar.gz -C /export/servers在/export/data目录下创建两个文件夹mkdir datamkdir logs进入到es文件目录下的config进行修改配置文件cd /export/servers/elasticsearch/configvi elas...原创 2018-09-10 15:15:33 · 419 阅读 · 0 评论