![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
文章平均质量分 76
顾雨.
这个作者很懒,什么都没留下…
展开
-
6.3Kafka集群部署与测试
修改配置文件后,将Kafka本地安装目录/export/servers/kafka_2.11-2.0.0以及环境变量配置文件/etc/profile分发至Hadoop02、Hadoop03机器。需要注意的是,当前终端不能被关闭,因为一旦关闭,Kafka服务就会停止,因此可以使用柯里会话功能打开一个新的终端,并使用jps查看kafka进程是否正常。注:执行启动命令之后,如果控制台输出的消息中武异常信息,并且光标始终处于闪烁状态,即表示Kafka服务启动成功。分发完成后还需要使环境变量生效。原创 2023-05-25 16:54:31 · 239 阅读 · 0 评论 -
5.2HBase的集群部署
可看出,在hadoop01上出现了HMaster进程,hadoop02上出现了HMaster和HRegionServer进程,hadoop03上出现了HRegionServer进程,证明HBase集群安装部署成功。打开hbase-site.xml配置文件,指定HBase在HDFS的存储路径、HBase的分布式存储方式以及zookeeper地址,修改后的hbase-site.xml文件内容如下。将HBase安装包上传至Linux系统的/export/software/目录下,原创 2023-05-05 17:00:24 · 167 阅读 · 0 评论 -
IDEA开发WordCount程序(Spark程序)
在IDEA工具在本地开发WordCount单词计数程序的相关步骤。原创 2023-04-23 10:44:29 · 2098 阅读 · 1 评论 -
启动Spark-Shell实现词频统计
启动Spark-Shell实现词频统计原创 2023-04-19 23:01:23 · 1533 阅读 · 0 评论 -
spark警告:WARN NativeCodeLoader:62 - Unable to load native-hadoop library for your platform...
spark警告:WARN NativeCodeLoader:62 - Unable to load native-hadoop library for your platform...原创 2023-04-13 22:46:31 · 1088 阅读 · 0 评论 -
Spark HA集群部署
Spark HA集群部署原创 2023-04-13 10:06:10 · 166 阅读 · 0 评论 -
搭建Spark开发环境
搭建Spark开发环境原创 2023-04-13 09:27:42 · 279 阅读 · 1 评论