大数据
文章平均质量分 65
关于大数据的学习
xiaolun@~200830
生如逆旅,一苇一航。
展开
-
Kafka安装和测试过程中的一些见解
1、获取消费者的消费信息1、问题描述 在项目中,将消息推送到消息中间件Kafka或者从其上拉取数据时,想知道一个消费者(组)对于消息的消费情况。经常的做法是从zookeeper的节点/consumers中获取消费者的消费信息,但是会遇到这样的一个问题: 往Kafka中推送数据,zookeeper的节点/consumers = null,即没有消费者的消费信息,但是Kafka却可以正常消费数据,这样的过程可能经过一段时间后,zookeeper的节点/consumers会有消费者的信息,然后通过下面的原创 2021-01-18 00:45:20 · 137 阅读 · 0 评论 -
解决Redis遇到的问题
1、问题1问题描述1、环境(1)Redis-3.0.4(2)IDEA(3)Windows2、描述 今天在测试师兄发的Demo例子时,在IDEA写的代码连接Redis时,一直报出由于连接不到资源而连接超时的问题,Could not get a resource from the poolCaused by: java.net.SocketTimeoutException: connect timed out 在Windows环境的客户端中进行测试,发现客户端可以正常连接和操作,经过调原创 2020-11-18 17:12:33 · 142 阅读 · 0 评论 -
Hbase安装和测试过程中的一些见解
1、问题1问题描述1、环境(1)ubuntu-18.4(2)hadoop-2.7.1(3)zookeeper-3.4.10(4)HBase-1.3.12、描述 前几天安装上面的要求在一台虚拟机上安装好环境后,今天在IDEA中测试师兄给我的Hbasedemo的代码,发现一直报一些错误:Connection refused: no further information: localhost/xx这样的错误导致IDEA连接HBase超时,进而导致失败。看到上面的报错,我感到很奇怪,因为我原创 2020-11-16 21:27:04 · 217 阅读 · 0 评论 -
scala中=>、下划线_的含义以及匿名函数的省略参数情况
1、=>的含义(1)表示匿名函数//匿名函数val triple = (x: Double) => 3 * x//执行函数println(triple(3)) 说明(x: Double) 是形参列表, => 是规定语法表示后面是函数体, 3 * x 就是函数体,如果有多行,可以 {} 换行写。匿名函数的返回是通过类型推导来实现的。triple 是指向匿名函数的变量,可以将其看成一个函数。(2)表示(可能是高阶)函数的返回类型//高阶函数中的方法定义def t原创 2020-10-04 10:47:52 · 562 阅读 · 0 评论 -
Linux中redis客户端连接不上redis服务器
1、问题描述 当我们在Linux中安装完成redis后,并在启动文件redis.conf中添加如下的配置后:daemonize yes先启动服务端redis-server,通过下面的指令查看6379端口,可以看到redis-server也在正常监听:lsof -i:6379然后通过下面的指令启动客户端redis-cli:redis-cli -p 6379发现控制台报错:Could not connect to Redis at 192.168.10.101:6379: Connec原创 2020-09-19 14:26:24 · 2975 阅读 · 0 评论 -
学习hadoop中一些代码或方法的理解
1、StringBuffer()的使用 因为StringBuffer()相对于String来说,它是一个长度和内容都可变的字符串,我们可以使用它来进行字符串的拼接。使用过程如下:public static void main(String[] args) { StringBuffer buffer = new StringBuffer(); String str = "xiaohei"; buffer.append(str).append(";"); //拼接后输出 System.out.原创 2020-09-08 11:36:40 · 94 阅读 · 0 评论 -
解决ActiveMQ集群启动后,master-slave之间无法切换的问题
1、遇到的问题(1)环境和版本ActiveMQ 5.16.0JDK 1.8zookeeper 3.10.0(2)问题描述注意:使用 2个 & + emsp; 实现首行缩进,使文章排榜更好看。 当我们启动ActiveMQ的集群的时候,该集群确实能够注册到我们搭建的zookeeper集群中,如下图所示:但是,当我们使用下面的命令将集群杀死后:kill -9 Master的PID集群中的slave无法真正的成功上位,表现在我们无法访问slave的管理界面:192.168.1原创 2020-09-05 10:29:59 · 1302 阅读 · 7 评论