- 博客(12)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Kudu集群数据迁移
方法一：使用kudu备份工具将kudu表备份到HDFS上，再通过scp或distcp方式传输到目标集群，利用kudu备份工具进行数据还原注意：还原任务是个spark任务，大表时可能出现还原出错的问题 还原时先建库，才能还原表方法二：使用kudu copy table命令将表数据进行跨集群拷贝，拷贝速度比第一种较慢。...
2020-10-27 10:50:19
1910
1
原创 suse12 sp3安装kerberos
1、安装krb5的包zypper install krb5 krb5-server krb5-client krb5-plugin-kdb-ldap2、修改/etc/krb5.conf配置[root@master fayson_r]# vim /etc/krb5.conf[logging]default = FILE:/var/log/krb5libs.logkdc = ...
2019-12-13 17:32:32
1076
转载 CDH集成Kerberos
一、安装Kerberos1. 整体说明软件版本操作系统：CentOs 6.8CDH版本：Hadoop 2.6.0-cdh5.9.0JDK版本：jdk1.7.0_67-cloudera运行用户：root集群主机角色划分sunmvm20 作为master节点，安装kerberos Server其他节点作为slave节点，安装kerberos client2. 配置h...
2019-08-19 14:29:07
752
转载 hadoop权限控制之kerberos
cdh版本的hadoop在对数据安全上的处理通常采用Kerberos+Sentry的结构。kerberos主要负责平台用户的权限管理，sentry则负责数据的权限管理。下面我们来依次了解一下：Kerberos包含一个中心节点和若干从节点，所有节点的Kerberos认证信息都要与中心节点的规则配置文件/etc/krb5.conf保持一致。安全认证均需通过中心节点，配置了安全认证的用户可以登录...
2019-08-06 17:00:36
798
转载 keberos原理
前几天在给人解释Windows是如何通过Kerberos进行Authentication的时候，讲了半天也别把那位老兄讲明白，还差点把自己给绕进去。后来想想原因有以下两点：对于一个没有完全不了解Kerberos的人来说，Kerberos的整个Authentication过程确实不好理解——一会儿以这个Key进行加密、一会儿又要以另一个Key进行加密，确实很容易把人给弄晕；另一方面是我讲解方式...
2019-08-06 15:45:44
267
转载 Linux目录结构及详细介绍
/：根目录，位于Linux文件系统目录结构的顶层，一般根目录下只存放目录，不要存放文件，/etc、/bin、/dev、/lib、/sbin应该和根目录放置在一个分区中。/bin，/usr/bin：该目录为命令文件目录，也称为二进制目录。包含了供系统管理员及普通用户使用的重要的linux命令和二进制（可执行）文件，包含shell解释器等。/boot： 该目录中存放系统的内核文件和引导装...
2018-09-06 14:22:57
151
转载 Mysql存储过程
存储过程简介SQL语句需要先编译然后执行，而存储过程（Stored Procedure）是一组为了完成特定功能的SQL语句集，经编译后存储在数据库中，用户通过指定存储过程的名字并给定参数（如果该存储过程带有参数）来调用执行它。存储过程是可编程的函数，在数据库中创建并保存，可以由SQL语句和控制结构组成。当想要在不同的应用程序或平台上执行相同的函数，或者封装特定功能时，存储过程是非常有用的。...
2018-08-13 09:44:11
118
转载 Cloudera Manager 中如何正确的下线节点
最低要求的角色：超级管理员（所谓超级管理员就是 admin）可以通过两种方式从集群中删除主机：使用 Cloudera Manager 删除；从集群 A 中删除主机，将其提供给由 Cloudera Manager 管理的其他集群；两种方法都会涉及退役主机(decommission)、删除角色(role)、删除托管服务软件(service)，但最终都会保留数据目录。使用 Cloudera Manage...
2018-05-08 10:10:58
3259
1
转载 linux inode理解
一、问题： 在一台Linux服务器的/data分区内创建文件时，系统提示磁盘空间不足，用df -h命令查看了一下磁盘使用情况，发现/data分区只使用了66%，还有12G的剩余空间。二、分析问题： 用df -i查看了一下/data分区的索引节点(inode)，发现已经用满(IUsed=100%)，导致系统无法创建新目录和文件。 inode译成中文就是索引节点，每个存储设备（例如硬盘）...
2018-05-07 10:57:40
177
转载 磁盘空间重分配
[root@localhost ~]# df -h Filesystem Size Used Avail Use% Mounted on /dev/mapper/VolGroup-lv_root 50G 47G 16M 100% / //lv_root满了 tmpfs 1.9G 72K 1.9G 1% /dev/shm /dev/sda1 485M 40M 420M 9...
2018-05-04 17:22:41
603
转载 IDEA开发CDH
新建Maven项目打开 –> File –> New –> Project点击Next点击Finish编写MapReduce程序1.编写 Maven 依赖：依照Cloudera官方文档进行配置： Using the CDH 5 Maven RepositoryMaven Artifacts for CDH 5.11.x Releasespom.xml:<?xml versi...
2018-03-29 16:40:54
1505
原创 linux系统下搭建SVN服务器
公司的svn服务器之前不小心被还原了，于是趁着有时间重搭一下，自己以前只是用过没搭过，中间也遇到了一点坑。。废话不多说，下面开始介绍一下搭建过程！系统环境：centos 6.51.首先下载安装SVN，我这边直接yum安装>yum -y install subversion等待命令执行完毕会自动安装完成2.创建版本库目录，用来存放版本库，可随意指定>mkdir /...
2017-11-07 13:24:58
330
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人