- 博客(16)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 CDH6.3.2HUE集成HBASE
以下步骤一次执行：1.hue配置中心：a.勾选 HBase 服务、HBase Thrift Serverb. hue_safety_valve.ini 的 Hue 服务高级配置代码段（安全阀）中添加：[hbase]hbase_conf_dir={{HBASE_CONF_DIR}}thrift_transport=buffered2.HBASE配置中心添加：a.启用 HBase Thrift Http 服务器、启用 HBase Thrift 代理用户b.Hbase配置文件-hbase-si
2021-09-09 10:26:28
490
转载 2021-09-08Cloudera Manager集群报警，堆转储目录/tmp 或日志目录/var/log 可用空间小于 5.0 吉字节
解决办法：1、先找到报错的主机输入查看磁盘存储的命令 df -h如图：可以看出centos-root 已使用63%，/dev/sdb 20G未使用可使用 du -h -d1 去制定目录查看文件夹大小，删除无用数据释放空间解决CDH空间不足办法：将hive、spark、yarn等服务下搜索、var、tmp、 在前面添加/home/ckt/work_1，将其产生的数据存放到空闲的盘下详细请参考：https://blog.csdn.net/xueyao0201/article/details/795
2021-09-08 15:23:24
400
原创 HUE通过Sentry进行权限管理案例
--测试用例--要求：通过HUE创建一个数据库，数据库中有两张表，用于1对test1表拥有查询权限，用户2对test1表有insert权限、对test2有select、insert权限--开始：create database xianke;create table xianke.test1(name string,age int);create table xianke.test2(name string,age int);--创建role，并将role添加给某一个用户create role
2021-09-01 14:59:06
286
原创 2021-08-30
集群分发脚本部署：yum install -y rsync在home目录下创建xsync#!/bin/bash#1. 判断参数个数if [ $# -lt 1 ]then echo Not Enough Arguement! exit;fi#2. 遍历集群所有机器for host in cdh01 cdh02 cdh03do echo ==================== $host ==================== #3. 遍历所有目录，挨个发送 fo
2021-08-30 08:48:24
61
原创 2021-08-26
kettle运行 sh kitchen.sh 报错：no libwebkitgtk-1.0 detected解决：wget ftp://ftp.pbone.net/mirror/ftp5.gwdg.de/pub/opensuse/repositories/home:/matthewdva:/build:/EPEL:/el7/RHEL_7/x86_64/webkitgtk-2.4.9-1.el7.x86_64.rpmyum install webkitgtk-2.4.9-1.el7.x86_64.rpm
2021-08-26 17:20:44
71
原创 2021-08-26
kafka集成kerberos -cdh6.3.21.Kafka配置修改1）设置kafka安全身份验证在kafka的配置中搜索 kerberos.auth.enable 并将其勾选2）设置kafka认证方式在kafka设置中搜索security.inter.broker.protoco 修改为 SASL_PLAINTEXT3）配置kafka.properties在kafka的配置页面中 搜索 kafka.properties 的 kafka broker高级配置代码段（安全阀） 其值添加如下内
2021-08-26 16:04:34
107
原创 2021-08-26
canal获取mysql增量数据经过kerberos认证到kafka步骤：1.mysql需要开启binlog日志# 修改mysql配置文件vim /etc/my.cnf-----------------------[mysqld] #开启binloglog-bin=mysql-bin #日志记录方式，建议使用ROW模式binlog-format=ROW #给当前mysql一个server id，之后的CDC工具里配置的不能跟这个重复server_id=1 开启binlog之后重
2021-08-26 15:47:48
70
原创 Flume 安装部署
Flume的安装非常简单上传安装包到数据源所在节点上然后解压 tar -zxvf apache-flume-1.8.0-bin.tar.gz然后进入flume的目录，修改conf下的flume-env.sh，在里面配置JAVA_HOME...
2019-09-03 15:11:21
85
原创 Zookeeper开源的分布式协调服务框架
Zookeeper的概述 zookeeper 是一个开源的分布式协调服务框架,主要用来解决分布式集群中的一致性问题和数据管理问题.Zookeeper的特点zookeeper本质上是一个分布式文件系统,适合存放小文件,可以理解为一个数据库.zookeeper中存储的其实就是一个又一个Znode，Znode是Zookeeper中的节点。正式因为Znode的特性，所有Zookeeper可以对...
2019-08-21 20:09:05
542
1
原创 redis的常用操作
redis数据类型与常见操作:string类型常见操作: SET key value 设定该Key持有指定的字符串Value GET key 获取指定Key的Value MSET key value [key value …] 同时设置多个key和value MGET key [key …] 同时获取多个key的值 SETNX key value 设置该Ke...
2019-08-10 16:23:34
121
原创 Linux 的命令
切换目录命令cd app 切换到app目录cd.. 切换到上一层目录 cd / 切换到系统根目录cd ~ 切换到用户主目录cd - 切换到上一个所在目录列出文件列表: ls ll dirls 是一个非常有用的命令,用来显示当前目录下的内容.配合参数的使用,能以不同的方式显示目录内容 格式 ls[参数] [路径或文件名] 在linux中以 . 开头的文件都是隐藏文件 ...
2019-08-10 14:48:39
169
1
原创 SpringMVC的环境搭建
1.1创建web工程1.2打入spring springmvc的相关坐标<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.8</maven.compiler.source&g...
2019-08-08 21:15:15
214
原创 AOP(面向切面编程)
AOP的概述什么是AOP:AOP称为:面向切面编程,他是一种 编程思想;AOP采取横向抽取机制,取代了传统纵向继承体系重复性袋面的编写方式(应用场景:例如性能监视、事务管理、安全检查、缓存、日志记录等)。AOP的作用权限校验日志记录性能检测缓存技术事务管理AOP底层实现代理机制：jdk代理 要求目标对象面向接口 CGLIB代理（面向接口、面向类）Spri...
2019-08-05 16:06:14
312
1
翻译 Redis下载及安装
1.Redis版本说明 Redis原生只支持linux系统 Redis官方是不支持windows平台，windows版本是微软自己建立的分支，基于官方的redis源码上进行编译、发布、维护的，所以window平台上的redis版本都略低于官方版本。2.Redis下载 当前redis最新版本是4.0，它是一个测试版本，稳定版本是3.2版本。可以直接在windows上下载，通过上传...
2019-07-29 16:11:30
1092
翻译 mabatis的入门
mabatis 的入门+mybatis基本操作Mybatis的概述: 是一款优秀持久层框架它支持定制SQL、儲存過程以及高級映射。什麽是框架？ 框架（Framework）是整个或部分系统的可重用设计，表现为一组抽象构件及构件实例间交互的方法;另一种定义认为，框架是可被应用开发者定制的应用骨架。前者是从应用方面而后者是从目的方面给出的定义。 简而言之，框架其实就是某种...
2019-07-29 15:47:15
180
空空如也
kettle8.0想支持cdh61应该怎么操作？
2021-09-30
TA创建的收藏夹 TA关注的收藏夹
TA关注的人