![](https://img-blog.csdnimg.cn/20210613001123437.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop
文章平均质量分 74
Hadoop集群学习
孙霸天
孙霸天,GIS、Java开发工程师。专注后台GIS开发、熟悉WebGIS开发、GIS大数据开发。
展开
-
windows配置Hadoop开发环境
windows配置Hadoop开发环境问题描述windows下连接hadoop集群,报以下错误:java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset. -see https://wiki.apache.org/hadoop/WindowsProblems在windows下想要连接hadoop集群,又不想安装hadoop环境下,这个时候就需要第三原创 2022-03-30 14:17:30 · 2728 阅读 · 0 评论 -
CDH6.2安装Phoenix
CDH6.2安装Phoenix配置Parcel选择集群-》Parcel进入配置查看是否有phoenix地址,没有就添加一个,如图所示:下载PHOENIX由于我已经下载过PHOENIX,这里以下载KUDU为例:下载完成后点击分配,会将安装包分配到所需要的节点上分配完成后点击激活安装CSD文件在CDH中添加Phoenix服务之前,必须安装Custom Service Descriptor(CSD)文件。找到CSD文件存放位置在web页面的管理-》设置中,点击“自定义服务描原创 2022-03-27 19:29:43 · 3343 阅读 · 12 评论 -
Kafka-使用springBoot连接
Kafka-使用springBoot连接注意事项连接kafka的电脑需要设置hosts如下:192.168.1.251 node1192.168.1.252 node2192.168.1.253 node3具体根据个人的实际情况配置maven依赖 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId&g原创 2022-03-20 20:06:32 · 6571 阅读 · 0 评论 -
Kafka介绍
Kafka介绍Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线原创 2022-03-10 20:00:20 · 233 阅读 · 0 评论 -
Linux操作kafka
Kafkakafka介绍集群架构kafka集群整体运作如上图所示,来看一下kafka的相关术语名称解释Broker消息中间件处理节点,一个Kafka节点就是一个broker,一个或者多个Broker可以组成一个Kafka集群TopicTopicKafka根据topic对消息进行归类,发布到Kafka集群的每条消息都需要指定一个topicProducerProducer消息生产者,向Broker发送消息的客户端ConsumerConsumer消息消费者,原创 2022-03-08 09:00:30 · 459 阅读 · 0 评论 -
Hadoop-CDH集群安装教程
CDH 安装教程集群准备IPHostnamerole192.168.159.10node1master agent192.168.159.11node2agent192.168.159.12node3agent修改hosts域名映射vim /etc/hosts添加如下内容192.168.159.10 node1192.168.159.11 node2192.168.159.12 node3配置免密登陆root用户ssh-key原创 2022-03-15 23:56:12 · 2894 阅读 · 2 评论