![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
hadoop,storm,hbase,hive
hadoop,storm,hbase,hive
Nuan_Feng
蓝桥杯国赛一等奖。唯有志存千里,方能风行天下。
展开
-
hadoop安装以及配置
ssh maste:连接master机 复制导入虚拟机 修改虚拟机名称以及工作目录 点击我已复制(底层新建网卡) ifconfig (-a) 查看网卡 删除uuid cd /etc/sysconfig/network-scripts vi ./ifcfg-ens33 nmcli con show :查看网卡uuid,然后在配置文件配置uuid service network re原创 2017-02-23 11:42:31 · 329 阅读 · 0 评论 -
hadoop使用datanode做ha
1:zookeeper 2:hadoop2.X以上 配置 hadoop-env.sh:export JAVA_HOME=/export/servers/jdk hdfs-site.xml core-site.xml slaves配置datanode 由于配置了jnn,所以无需配置secondarynamenode 2:启动zk 在jnn配置的节点上启原创 2017-02-23 11:43:00 · 415 阅读 · 0 评论 -
hbase
vi hbase-env.sh:修改jdk存储路径 vi hbase-site.xml:配置hbase存储路径 vi /etc/profile:配置hbase环境变量 source /etc/profile start-hbase.sh:启动 jps:查看进程 netstat -naptl |grep java http://hadoop01:16010 hbase shell:进原创 2017-02-23 11:43:20 · 322 阅读 · 0 评论 -
hdfs-文件上传告警脚本-编码开发
1:滚动产生日志 xxx.log xxx.log xxx.log xxx.log.1 xxx.log.1 xxx.log.2 由于新建日志比上传慢,所以会一直上传xxx.log.1而不会等到xxx.log.2 会导致一个命名重复问题 2:重命名移动过后的日志文件(buffer区间) 3:上传hadoop 4:运行sh shell文件测试 5:crontab定时原创 2017-02-23 11:43:58 · 512 阅读 · 0 评论 -
hive安装以及配置
cp -a hive-default.xml.template hive-site.xml cp -a hive-default.xml.template hive-default.xml cp hive-log4j.properties.template hive-log4j.properties cp hive-exec-log4j.properties.template hive-ex原创 2017-02-23 11:44:33 · 420 阅读 · 0 评论 -
kafka配置以及安装
rm -f consumer.properties server.properties producer.properties zookeeper.properties vi ./kafka/config/server.properties :修改broker.id=1,host.name=kafka02 scp /etc/hosts storm03:/etc/ scp /etc/pro原创 2017-02-23 11:44:52 · 438 阅读 · 0 评论 -
storm安装以及配置
1:复制虚拟机,由于只是运用系统,不需要从新配置网卡等,点击我已移动即可。 2:修改hostname hostnamectl --static set-hostname storm01 vi /etc/hosts 192.168.1.123 storm01 192.168.1.117 storm02 192.168.1.124 storm03 3:配置windows host 4原创 2017-02-23 11:45:17 · 628 阅读 · 0 评论 -
zookeeper配置以及安装
leader随机选举 1: tar -zxvf zookeeper-3.4.9.tar.gz -C /export/servers/ cd ../servers/ ln -s zookeeper-3.4.9 zookeeper mv zoo_sample.cfg zoo.cfg 2:配置 #集群中的follower服务器(F)与leader服务器(L)之间初始连接时能容忍的最多心跳数原创 2017-02-23 11:45:50 · 354 阅读 · 0 评论