![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
大数据
三喂树屋
@三喂树屋
展开
-
大数据系(一)之kafka学习
写在前面2020年多灾多难,受到新冠病毒的影响,开学无望,但是大作业还是得按时交,受必修课大作业的要求,构建一个大数据分析平台,用到kafka,habse,redis,spark,以及tomcat来构建可视化平台,压力着实大,在家上网课效率着实不怎么样,学的东西都没什么印象,这里重新复习(预习)总结一下吧。kafka是什么?官方是这样说的:Kafka is used for building real-time data pipelines and streaming apps. It is原创 2020-05-19 13:58:42 · 156 阅读 · 0 评论 -
WARN Error while fetching metadata with correlation id 0 : {testtopic=LEADER_NOT_AVAILABLE}
centos6.5+kafka2.11配置好的Kafka创建生产者时出现下面的错误root@ubuntu-130:kafka/bin# ./kafka-console-producer.sh --broker-list 192.168.0.14:9092 --topic testtopic>hello[2019-07-14 23:42:47,318] WARN Error while fetching metadata with correlation id 1 : {testtopic=.原创 2020-05-09 10:53:56 · 2132 阅读 · 1 评论 -
Kafka集群安装与配置
前期环境准备 安装jdk并配置环境安装配置zookeeper1.jdk环境安装与配置 这里选择jdk-8u101-linux-x64.tar.gz//解压tar -zxvf jdk-8u101-linux-x64.tar.gz//配置环境vim /etc/profile//在文件中添加下面的内容export JAVA_HOME=/usr/local/jdk1.8.0_1...原创 2020-04-24 22:35:41 · 261 阅读 · 0 评论 -
Hadoop环境搭建过程中问题记录
1.zookeeper启动正常,显示状态时提示Error contacting service. It is probably not running.1.1打开zookeeper的debug模式:./zkServer.sh start-foreground若显示如下:说明在zoo.cfg的clientPort=2181端口被占用,1.2执行netstat -lntup查看端口,如果有,如下...原创 2020-03-09 17:55:31 · 250 阅读 · 0 评论 -
redis配置文件详解
redis配置在redis目录文件夹下找到 redis.conf各个参数配置说明如下:daemonize:默认情况下,redis 不是在后台运行的,如果需要在后台运行,把该项的值更改为 yespidfile:当 Redis 在后台运行的时候,Redis 默认会把 pid 文件放在/var/run/redis.pid,你可以配置到其他地址。当运行多个 redis 服务时,需要指定不同的 pid 文件和端口bind:指定 Redis 只接收来自于该 IP 地址的请求,如果不进行设置,那么将原创 2020-05-19 16:05:59 · 141 阅读 · 0 评论 -
大数据系(二)之redis学习
redis基础知识学习简介Redis 是一个 Key-Value 存储系统。支持存储的 value 类型相对更多,包括 string(字符串)、list(链表)、set(集合)和 zset(有序集合)。这些数据类型都支持 push/pop、add/remove 及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。Redis 是一个开源的使用 ANSI C 语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。从2010年3月15日起,Red原创 2020-05-19 23:06:51 · 231 阅读 · 0 评论