——BigData组件
文章平均质量分 68
BigData组件
脸ル粉嘟嘟
BigDate.我命由我!
展开
-
卸载kerberos
1. 关闭KDC服务systemctl stop krb5kdcsystemctl stop kadmin2卸载(所有节点)注意:版本信息根据实际情况修改rpm -e krb5-devel-1.15.1-18.el7.x86_64 --nodepsrpm -e krb5-libs-1.15.1-18.el7.x86_64 --nodepsrpm -e krb5-workstation-1.15.1-18.el7.x86_64 --nodepsrpm -e libkadm5-1.15.1-1原创 2022-01-01 11:41:50 · 3689 阅读 · 0 评论 -
CDH禁用kerberos
1.停止服务登录CM,点击[停止]2.Zookeeper进入zookeeper配置界面,在输入框中填入[Enable kerberos] 进行搜索.启用Kerberos身份验证:取消勾选Enable Server to Server:取消勾选3.HDFS进入hdfs配置界面3.1 关闭安全认证在输入框中填入[hadoop.security.auth] 进行搜索.hadoop安全授权:取消勾选Hadoop安全身份验证:simple3.2 目录权限在输入框中填入[dfs.data原创 2022-01-01 11:35:48 · 2470 阅读 · 0 评论 -
CDH5安装Kerberos认证
BUGBUG写在前面:Kerberos 1.15.1-18.el7.x86_64 版本有BUG,不要安装这个版本!!!!如果已安装上面描述版本不要怕,这里有一篇解决方案升级kerberos1.系统环境1.操作系统:CentOS Linux release 7.5.1804 (Core)2. CDH: 5.16.2-1.cdh5.16.2.p0.83. Kerberos:1.15.1-50.el7x864.采用root用户进行操作2.KDC服务安装及配置2.1.安装KDC服务在Cloude原创 2021-12-30 11:06:56 · 1701 阅读 · 0 评论 -
升级kerberos
1 介质压缩包中包含下面文件2 关闭KDC服务systemctl stop krb5kdcsystemctl stop kadmin3 查看当前版本在kdc安装所在机器上面执行下面脚本rpm -qa | grep krb54 卸载(所有节点)rpm -e krb5-devel-1.15.1-18.el7.x86_64 --nodepsrpm -e krb5-libs-1.15.1-18.el7.x86_64 --nodepsrpm -e krb5-workstation-1.原创 2021-12-30 11:03:37 · 2019 阅读 · 0 评论 -
CentOS6.8卸载与安装yum
1.卸载yum1.1查看已安装的yum包 rpm –qa|grep yum1.2卸载yumrpm -aq|grep yum|xargs rpm -e –nodeps-nodeps似乎是忽视依赖关系删除--------------------------------------------------2.安装yum2.1.下载yum所需的包推荐网址:http:/...原创 2018-09-27 22:25:01 · 4829 阅读 · 3 评论 -
sqoop安装并配置连接数据库
1.下载sqoopwget http://mirror.bit.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz2解压-安装tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz3在/etc/profile下配置sqoop的环境变量Vi /etc/profile...原创 2018-10-15 19:41:45 · 1038 阅读 · 0 评论 -
CentOS6环境下安装sqoop详细步骤以及测试成功
1.下载sqoopwget http://mirror.bit.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz2.解压-安装tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gzmv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop-1.4....原创 2018-10-18 12:55:50 · 761 阅读 · 0 评论 -
hadoop单机伪分布安装HBase-1.4.8详细步骤(亲测成功)
---------前提:安装hadoop、yarn、jdk1.下载解压1.1使用wget下载wget http://archive.apache.org/dist/hbase/1.4.8/hbase-1.4.8-bin.tar.gz 1.2解压到/usr/local目录下tar -zxvf hbase-1.4.8-bin.tar.gzmv hbase-1.4.8 /...原创 2018-10-23 21:36:10 · 1821 阅读 · 0 评论 -
CentOS6安装hive-2.1.1
hive 这里简单说明一下,好对大家配置hive有点帮助。hive是建立在hadoop上的,当然,你如果只搭建hive也没用什么错。说简单一点,hadoop中的mapreduce调用如果面向DBA的时候,那么问题也就显现了,因为不是每个DBA都能明白mapreduce的工作原理,如果为了管理数据而需要学习一门新的技术,从现实生活中来说,公司又需要花钱请更有技术的人来了。hive ...原创 2018-11-02 20:36:35 · 518 阅读 · 2 评论 -
本地yum仓库的配置安装
两种方式: a.每一台机器都配一个本地文件系统上的yum仓库 file:////package/path/ (不推荐因为需要在每台机器上配置) b.在局域网内配置一台节点(server-base)的本地文件系统yum仓库,然后将其发布到web服务器中,其他节点可以通过http://server-base/package/path/制作流程: 挑选一台机器,挂载一个系统光...原创 2018-11-10 15:14:26 · 242 阅读 · 0 评论 -
Spark 开发环境搭建
1.创建maven工程创建project--Java创建module--maven2.添加依赖<dependencies> <!--spark依赖--> <dependency> <groupId>org.apache.spark</groupId> <...原创 2018-11-14 17:38:49 · 377 阅读 · 0 评论 -
apache-hive-1.2.1-bin 安装
技能标签下载apache hive 安装包 进行apache-hive-1.2.1-bin.tar.gz安装 配置mysql存储元数据 配置HDFS存储 /user/hive/warehouse 该Hive版本1.2.1默认集成在(Spark1.6 到 Spark2.4)下载下载安装包apache-hive-1.2.1-bin.tar.gz: https://archive.ap...原创 2019-01-14 19:52:38 · 463 阅读 · 0 评论 -
最详细Flink安装以及案例之WordCount
前言:本文主要介绍如何将Flink以本地模式运行在单机上。运行环境Linux-CentOS6.8JDK-1.8hadoop-2.7.5flink-1.7.1-bin-hadoop27-scala_2.11flink安装配置过程1.下载1.1进入下载页面。如果你想让Flink与Hadoop进行交互(如HDFS或者HBase),请选择一个与你的Hadoop版本相匹配的Flink包。...原创 2019-01-23 19:21:10 · 2952 阅读 · 0 评论 -
zookeeper单机与伪分布式安装与配置
一、基本环境Linux_CentOS6.8jdk1.8zookeeper-3.4.12二、单机模式的安装与配置2.1.下载zookeeper的tar包wget http://www-eu.apache.org/dist/zookeeper/current/zookeeper-3.4.12.tar.gz2.2.解压安装包到目标路径,并修改文件权限 tar -zxvf zookeep...原创 2019-01-27 09:45:49 · 324 阅读 · 0 评论 -
CentOS7搭建Hadoop3.1.1的HA详细步骤
最近负责的项目准备上大数据平台存储,主要还是围绕Hadoop平台来实现,虽然打算上cdh版本的hadoop,但是为了前期方便开发还是先使用原声的hadoop进行开发,后期再准备更好的环境进行扩展。环境准备三台服务器系统环境是建立在Centos7.6基础上。并且是建立在root账户上运行的,如果需要使用其他用户操作,注意权限的问题基础机器分配在三台新购买的服务器上进行搭建。服务器规划如下h...转载 2019-01-27 20:26:58 · 707 阅读 · 3 评论