![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
星辰丶晟妍
这个作者很懒,什么都没留下…
展开
-
HDP3.X 新特性测试
hdfs 50070可以直接上传文件了 hdp3.x通过统一的apache ranger服务来管理用户访问hdp服务的权限 ranger ur 登录信息 http://node01.ambari3.0.com:6080/login.jsp USERNAME: admin PASSWORD: 纠删码测试 ec策略相关介绍 ErasureCodingPolicy=[Name=XOR-2-1-1024k, Schema=[ECSchema=[Codec=xor, numDataUnits=..原创 2021-02-01 15:35:00 · 400 阅读 · 0 评论 -
使用docker镜像启动集群
创建master节点,即namenode节点 docker run -tid --name hadoop-master -p 50010:50010 -p 50020:50020 -p 50070:50070 -p 50075:50075 -p 50090:50090 -p 8020:8020 -p 9000:9000 -p 10020:10020 -p 8030:8030 -p 19888:19888 -p 8031:8031 -p 8032:8032 -p 8033:8033 -p 8040:804..原创 2021-01-29 08:44:44 · 263 阅读 · 0 评论 -
通过docker搭建spark集群
使用如下命令创建一个容器 docker run -tid --name spark-server -v /opt/install:/opt/install -h spark_server tfws/hadoop-baseenv:v1.2 /usr/sbin/init 下载spark的安装包 https://downloads.lightbend.com/scala/2.13.1/scala-2.13.1.tgz 将下载的安装包上传到容器中 解压安装包 mkdir -p /usr/loca..原创 2021-01-28 09:24:39 · 372 阅读 · 0 评论 -
通过docker搭建hadoop集群
启动一台虚拟机 centos7 安装好yum源 先下载一个centos7镜像作为基础镜像 docker pull docker.io/ansible/centos7-ansible 运行该镜像 docker run -tid --name hadoop_cluster_1 --privileged=true -t docker.io/ansible/centos7-ansible /usr/sbin/init 进入该镜像 docker ps -a docker exec -it 1e..原创 2021-01-28 09:23:12 · 236 阅读 · 0 评论 -
kafka相关命令
创建topic /opt/cluster/kafka_2.12-2.3.0/bin/kafka-topics.sh --create --zookeeper master.hive.com:2181,node01.hive.com:2181,node02.hive.com:2181 --replication-factor 1 --partitions 1 --topic data_test ---------------------------------- --zookeeper:为zk服务器地址,..原创 2021-01-27 17:08:03 · 94 阅读 · 0 评论 -
虚拟机安装KAFKA
准备三台虚拟机(并且配置好hosts文件) 172.28.128.16 master.hive.com master 172.28.128.17 node01.hive.com node01 172.28.128.18 node02.hive.com node02 安装jdk1.8 安装zookeeper [all]创建目录 mkdir /opt/cluster [master]下载安装包 http://archive.cloudera.com/cdh5/cdh/5/zookeepe..原创 2021-01-27 17:06:31 · 565 阅读 · 0 评论