- 博客(18)
- 收藏
- 关注
RSS订阅原创 kafka权限:(ACL权限控制) 补充acl命令操作
kafka权限：(acl权限)删除acl权限控制kafka-acls.sh --authorizer-properties zookeeper.connect=localhost:2181 --operation Write --allow-principal User:* --allow-host ***.***.***.*** --remove --topic zll假设你要添加一个acl “以允许*.***.***.和.***.***.*，Principal为User:Bob和User:Ali
2021-11-30 15:13:11
4140
原创 kafka权限增查删命令
创建主题bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic xxx --partitions 2 --replication-factor 1zookeeper：服务的地址 create：创建主题 topic：主题名称 partitions：当前主题所要几个分区 replication-factor：指定副本的数(分布在不同节点，不能超过总节点数)查看所有主题bin/kafka-topics.s
2021-11-24 17:52:14
1646
原创 Redis命令大全 又全又完美
Redis命令大全Redis字符串（String）命令描述SET key value设置指定 key 的值GET key获取指定 key 的值GETRANGE key start end返回 key 中字符串值的子字符GETSET key value将给定 key 的值设为 value ，并返回 key 的旧值(old value)GETBIT key offset对 key 所储存的字符串值，获取指定偏移量上的位(bit)[MGET key1
2020-08-25 16:21:08
256
原创 Mysql 50题练习题 完美
创建数据库和表数据库drop database if exists mysql_test cascade;create database mysql_test;use mysql_test;学生表 student创建学生表 studentcreate table student ( s_id int, s_name varchar(8), s_birth date, s_sex varchar(4));插入学生数据insert into student values(1,'
2020-08-24 19:01:58
1185
1
原创 Scala 数组、集合函数大全 背透会用 老板给你捶背
Array数组是一种可变的、可索引的数据集合。在 Scala 中用 Array[T] 的形式来表示 Java 中的数组形式 T[]。示例： val arr = Array(1, 2, 3, 4) // 声明一个数组对象 val first = arr(0) // 读取第一个元素 arr(3) = 100 // 替换第四个元素为 100 val newarr = arr.map(_ * 2) // 所有元素乘 2 println(newarr.mkString(",
2020-08-20 10:06:14
187
原创 Hive的内置函数 学会横着走
1.select concat(‘abc’,‘cd’,‘fff’) 对二进制字节码或字符串按次序进行拼接2.select instr(“abcdef”,‘b’) 查找字符串str中子字符串substr出现的位置3.select length(‘abcdef’) 返回字符串的长度4.select locate(‘cd’,‘abcdabcd’,4) 查找字符串str中的pos位置后字符串substr第一次出现的位置5.select upper(‘adcdef’) 将字符串
2020-06-17 20:16:41
473
原创 使用zeppelin配置hive解析器 小白亲测 爽的一批
我们已经安装并配置好了zeppelin（小声逼逼：我那个方法是不是很爽，是不是再也不用排队了吧）1、Zepplin中没有默认的hive解释器，但是我们可以通过jdbc解释器进行添加。（1）环境变量配置①拷贝hive的配置文件hive-site.xml到zepplin081下。cp /opt/hive/conf/hive-site.xml /root/zeppelin081/conf/②拷贝jar包拷贝下面两个jar包到zeppelin安装目录下interperter中。（版本根据自己安装版本来
2020-06-16 19:51:45
636
原创 继zeppelin安装后的完善 肝了n秒寻找到的解决方案
在上一篇文章中，有很多小伙伴跟我一样掉进了坑了，久久不出，下面我肝了n个秒数，终于给我找到了解决的方案：上篇文章地址：https://blog.csdn.net/weixin_47737819/article/details/106719848问题的主要原因是：相关HDFS文件权限的问题解决方法： 方法1：给当前用户的HDFS文件授权 方法2：修改HADOOP配置文件hdfs-site.xml,修改dfs.permissions数据为false。<property> <
2020-06-16 18:52:19
110
原创 zeppelin安装及配置 亲测 探雷：它是如何让你奔溃的
今天尝试安装了一下zeppelin，过程及其血腥，完美诠释如何从开心到奔溃，下面我们开始：刚开始我们还是跟以往一样愉快的打开那个邪恶的小软件，把自己下载下来的安装包放进自己的虚拟机中放好文件夹我们肯定会愉快的去解压安装包，一步一步往下行走着，我还是喜欢把安装包移动到一个跟脸一样干净的文件夹下tar -zxf zeppelin-0.8.1-bin-all.tgzmv zeppelin-0.8.1-bin-all soft/zepplin081解压完成后我们进去准备给他化个妆cd soft/zep
2020-06-12 17:36:52
356
1
转载 Hive：窗口函数 （大佬带路不怕迷路）
简介本文主要介绍hive中的窗口函数.hive中的窗口函数和sql中的窗口函数相类似,都是用来做一些数据分析类的工作,一般用于olap分析（在线分析处理）。
2020-06-12 09:25:25
125
原创 hive排序：四个排序区别 不要太香哦
order by全局排序**只使用一个Reducer执行全局数据排序速度慢,应提前做好数据过滤支持使用CASE WHEN或表达式支持按位置编号排序select * from offers order by case when offerid = 1 then 1 else 0 end;select * from offers order by 1;sort by内部排序对每一个Reduce的结果进行排序,为了看出效果，我们多设置几个Reduce，查看每个Reduce的
2020-06-11 20:11:23
422
原创 Hive 安装 亲测有效 再也不怕迷路
前面我们安装了hadoop现在我们开始安装下hive：安装hive需要两个安装包，我这里用的是1.1.0版本，放入到自己的虚拟机中1、检查自己安没安装mysqlmysql -u root -p2、启动Hadoop出现这五个说明启动成功缺一不可（如果失败关闭重启stop-all.sh）hadoop启动成功3、解压动物园管理员（zookeeper）包tar -zxf zookeeper-3.4.5-cdh5.14.2.tar.gz4、解压hive安装包mv hive-1.1.0-cd
2020-06-10 19:42:18
781
1
原创 hadoop ssh 远程登录 不用密码设置方法
下面在一台新的虚拟机上操作ssh远程登录不用密码1.网络设置输入命令vi /etc/sysconfig/network-scripts/ifcfg-enp0s3进去设置2.修改配置BOOTPROTO=staticONBOOT=yes增加ip地址IPADDR=192.168.56.xxx（xxx最好大于100）3.保存退出用esc键退出：（符号输入）+ wq(保存退出)4.修改用户名5.重启网络systemctl restart network6.测试网络链接输入百度
2020-06-02 18:50:27
284
原创 安装logstash及基本使用
1、解压logstash包tar -zxf logstash-6.2.2.tar.gz2、在soft下创建logstash622文件夹并把解压文件移至里面mv logstash-6.2.2 soft/logstash6223、进入logstash622\bin目录下cd soft/logstash622/bin/4、空白输出至控制台./logstash -e 'input { stdin {} } output { stdout {} }'5、设置输出格式./logstash -e
2020-06-02 08:34:56
122
原创 Hadoop解析安装及环境配置
Hadoop解析安装1.Jdk(建议使用JDK 1.8.11)2.导入hadoop.tar.gz(我使用的是2.6.0版本)3.解压文件tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz（可以新建文件把解压文件移动至文件中）mv hadoop-2.6.0-cdh5.14.2 soft/hadoop2604.解压完成进入文件hadoop目录cd soft/hadoop260/etc/hadoop配置五个文件①echo $JAVA_HOME//opt/soft
2020-06-01 17:35:01
285
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人