--- 大数据运维
文章平均质量分 87
CDH大数据平台运维
数据指北Ai
知名国企开发工程师,目前大数据和后端开发,致力全栈。欢迎交流!!!
展开
-
又卡了,大数据平台容器化运维走起
大数据集群容器化卡球了,必须清理。原创 2023-07-17 16:49:53 · 512 阅读 · 0 评论 -
大数据运维 (五) docker搭建图数据库nebula适配国产化服务器
大家好,我是脚丫先生 (o^^o)nebula图数据库需要搭建在国产化中标麒麟服务器,自己翻山越岭查阅官方文档,同时也在官方技术人员的耐心指导下,得到了适配国产化系统的技术路子。下面进行阐述搭建过程,希望能帮助到大家。文章目录一、nebula图数据库国产化适配二、适配基础1.在国产化服务器里搭建docker环境2.适配步骤3.服务连接一、nebula图数据库国产化适配Nebula 是一个分布式、可扩展的图数据库。它是世界上唯一能够容纳具有数十亿个顶点(节点)和数万亿个边缘的图数据库解决方案,同时原创 2021-11-05 15:31:34 · 2053 阅读 · 4 评论 -
大数据运维 (四) 大数据平台运维总结
大数据CDH的运维点点滴滴原创 2021-09-23 16:30:02 · 5634 阅读 · 0 评论 -
大数据运维 (三) docker搭建分布式图数据库nebula
大家好,我是脚丫先生 (o^^o)最近在做数据融合分析平台。需要搭建一个分布式图数据库,第一想法就是面向百度和官网搜索,但是大多数只看到单节点搭建,分布式搭建都是基于k8s。自己不想那么把项目搞这么重,于是考利用docker-compose进行分布式搭建。下面进行阐述搭建过程,希望能帮助到大家。文章目录一、图数据库nebula二、集群规划2.1 spark1节点的docker-compose2.2 spark2节点的docker-compose(配置与spark1同理)2.3 spark3节点的do原创 2021-09-17 01:07:54 · 673 阅读 · 6 评论 -
大数据运维 (一) Hadoop完全分布式环境搭建
文章目录一、准备工作1.1 安装VMware并设置网络1.2.安装centos虚拟机(这里就不详细说了,网上太多了)1.3 虚拟机配置(三台虚拟机同理)一、准备工作1.1 安装VMware并设置网络下载vmvare软件,配置NAT网络模式。NAT是网络地址转换,是在宿主机和虚拟机之间增加一个地址转换服务,负责外部和虚拟机之间的通讯转接和IP转换。1.2.安装centos虚拟机(这里就不详细说了,网上太多了)安装完后克隆虚拟机,产生三台虚拟机共集群使用。三台虚拟机的ip:192.168.23原创 2021-09-12 23:48:06 · 543 阅读 · 0 评论 -
大数据运维 (二) harbor的镜像迁移
大家好,我是脚丫先生 (o^^o)在大数据运维中,遇到一个问题:之前的Harbor是搭建在科研网,而现在的Harbor是搭建在办公网。两边的网络是不联通的(无法互相ping通),要把老的Harbor仓库里的镜像迁移到现有的Harbor仓库。如何去做呢?文章目录一、迁移思路二、本地虚拟机中转三、参考一、迁移思路(1) 可以把Harbor仓库里的镜像全部pull下来,打包成镜像,之后导入现有Harbor仓库所在的服务器,修改tag标签,最后push到仓库。(2) 利用本地的虚拟机作为中转,编写脚原创 2021-09-09 17:21:09 · 2012 阅读 · 0 评论 -
Navicat Premium 12和Xshell(免安装版本)
一、Navicat Premium 12下载Navicat Premium 12是一套数据库开发管理工具,支持连接 MySQL、Oracle等多种数据库,可以快速轻松地创建、管理和维护数据库。Navicat Premium 12简体中文下载:下载蓝奏云下载:Navicat Premium 12.0.29简体中文64位Navicat Premium 12.0.29简体中...原创 2018-11-06 09:55:51 · 50856 阅读 · 12 评论 -
Harbor部署
什么是 HarborHarbor 是一个用于存储和分发 Docker 镜像的企业级 Registry 服务器,通过添加一些企业必需的功能特性,例如安全、标识和管理等,扩展了开源 Docker Distribution。作为一个企业级私有 Registry 服务器,Harbor 提供了更好的性能和安全。提升用户使用 Registry 构建和运行环境传输镜像的效率。Harbor 支持安装在多个 Registry 节点的镜像资源复制,镜像全部保存在私有 Registry 中, 确保数据和知识产权在公司内部网络中原创 2020-09-07 09:05:46 · 804 阅读 · 1 评论 -
Azkaban安装部署及基础使用
文章目录一、Azkaban安装部署1. 前置环境2. Azkaban编译3. 配置azkaban数据库4. 部署Azkaban-Web-Server(1) 部署azkaban web server(2) 配置Azkaban-Web-Server(3) 启动服务5 部署Azkaban Exec Server二、Azkaban示例一、Azkaban安装部署Azkaban官网: https://azkaban.github.io软件下载地址: https://github.com/azkaban/azk原创 2021-06-18 18:00:07 · 731 阅读 · 0 评论 -
Windows Kerberos客户端配置并访问CDH
https://forum.huawei.com/enterprise/zh/thread-337775.html最近被安排做java本地访问带认证的CDH集群,网上查了各种博客,试了各种方法都无法登录上。最终发现是端口问题,因为kdc默认端口是88,所以必须给88端口为UDP协议 使用API访问开启安全Kerberos的Hdfshadoop集群(cdh集群)在开启kerberos安...原创 2019-01-04 10:20:48 · 4510 阅读 · 1 评论 -
Apache Ranger安装部署
Apache Ranger提供一个集中式安全管理框架, 并解决授权和审计。它可以对Hadoop生 态的组件如HDFS、Yarn、 Hive、 Hbase等进行细粒度的数据访问控制。 通过操作Ranger控制台,管理员可以轻松的通过配置策略来控制用户访问权限。前置环境●JDK运行RangerAdmin RangerKMS●RDBMS 1.存储授权策略2.存储Ranger用户/组3.存储审...原创 2020-03-26 15:24:44 · 1711 阅读 · 0 评论 -
云服务器搭建hadoop集群
我的阿里云服务器的公网IP为a11.b11.c11.d11,内网IP为a12.b12.c12.d12;腾讯云的服务器的公网IP为a21.b21.c21.d21,内网IP为a22.b22.c22.d22。以阿里云的服务器为主,跑一个NameNode和一个DataNode,腾讯云服务器跑一个DataNode(个人腾讯云服务器跑了太多服务了,且配置等方面也不太够)。下面开始。首先,安装并配置...原创 2018-09-13 16:39:41 · 10181 阅读 · 17 评论