大数据
文章平均质量分 94
大数据技术栈
寅贝勒
相信自己能做到比努力本身更重要
展开
-
docker部署ambari-2.7.3(大数据集群快速搭建)
① centos7自身没有yum工具② 安装git③ 拉取远程仓库④ 开始安装⑤ 查看容器2.配置ssh免密登录我这里的三个容器的ip分别是① 修改主机名172.17.0.2(amb-server) -> node3172.17.0.3(amb1) -> node1172.17.0.4(amb2) -> node2② 修改hosts文件,可以直接ping名字③ 生成密钥首先分别在这3个节点执行指令:ssh-keygen ,然后一直按回车键直到结束。此时你可以发现在原创 2020-12-16 16:43:21 · 8915 阅读 · 10 评论 -
docker部署Hadoop环境
大致分以下几步:依次执行如下步骤安装docker。如果有docker环境的可以跳过。1.2 基础环境准备1.2.1 创建基础的centos7镜像拉取官方centos7镜像通过build Dockfile生成带ssh功能的centos镜像创建Dockerfile文件将如下内容写入Dockerfile上述内容大概意思是:以centos镜像为基础,设置密码为wqe123,安装ssh服务并启动构建Dockerfile将生成一个名为的镜像,可以通过查看将准备好的包放在当前目录下。和通过bu原创 2020-12-17 23:19:28 · 4352 阅读 · 1 评论 -
Hadoop常用指令
Hadoop常用操作总结1.各个web页面地址服务端口号HDFS页面50070YARN的管理界面8088ambari8080HistoryServer的管理界面19888Zookeeper的服务端口号2181Mysql的服务端口号3306Kafka的服务端口号9092azkaban界面84432. HDFS的shell命令功能命令查看指令hadoop fs / hdfs dfs查看hdfs原创 2020-12-17 23:22:32 · 3825 阅读 · 0 评论