hadoop
爱做梦的小鱼。
Looking forward to your every day
展开
-
关于hadoop的词频统计找不到主类问题
3.出现报错Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster。5.关闭hadoop集群,编辑hadoop的配置文件yarn-site.xml(注意:这段代码的value里面的内容是刚刚粘贴下来的路径)4.解决问题(在命令行界面输入hadoop classpath,将出现的路径粘贴下来).6.启动hadoop集群。7.重新进行词频统计。8.查看词频统计结果。原创 2023-04-14 08:42:52 · 258 阅读 · 0 评论 -
Flume连接KAFKA
前提工作:虚拟机有jdk环境,hadoop集群,flume安装包,Kafka安装包、4.在这途中可能会遇到jar包冲突的问题。1.解压flume,Kafka安装包。消费主题,接收flume采集到的数据。2.进入flume配置文件夹中。原创 2023-02-20 14:38:56 · 380 阅读 · 0 评论 -
spark on yarn集群的安装与搭建
7.出现报错(For more detailed output, check the application tracking page: http://master:8088/cluster/app/application_1681091649273_0002 Then click on links to logs of each attempt.注:(搭建spark on yarn 需要jdk,hadoop环境,其搭建可参照前面jdk和hadoop的安装与搭建).4.进入spark的conf目录下。原创 2023-04-11 09:37:36 · 515 阅读 · 0 评论 -
Hadoop完全分布式集群搭建
hadoop完全分布式搭建原创 2023-02-20 10:33:41 · 159 阅读 · 0 评论