Hadoop
hadoop
叶 落
这个作者很懒,什么都没留下…
展开
-
优化 Kafka 的生产者和消费者
如今,分布式架构已经成为事实上的架构模范,这使得通过 REST API 和 消息中间件来降低微服务之间的耦合变得必然。就消息中间件而言,Apache Kafka 已经普遍存在于如今的分布式系统中。Apache Kafka 是一个强大的、分布式的、备份的消息服务平台,它主要负责以可扩展性、健壮性和容错性的方式来存储和共享数据。站在应用的角度,应用开发者主要利用 Kafka 生产者和 Kafka 消费者去发布和消费消息。因此生产者和消费者对于优化基于 Kafka 的交互都很重要。原创 2023-04-13 14:21:32 · 807 阅读 · 0 评论 -
大数据常见组件的访问页面总结
Hadoop的访问页面Hadoop2.Xhdfs界面:NameNode进程所在主机的ip:50070SecondaryNameNode界面:SecondaryNameNode进程所在的主机的ip:50090Yarn界面:ResourceManager所在的主机的ip:8088历史服务器界面:JobHistoryServer进程所在的主机:19888Hadoop3.Xhdfs界面:NameNode进程所在主机的ip:9870SecondaryNameNode界面:SecondaryNam原创 2021-10-30 14:59:46 · 1194 阅读 · 0 评论 -
将项目依赖也打到jar包中
在pom.xml中增加如下配置:<build> <plugins> <plugin> <artifactId>maven-compiler-plugin</artifactId> <version>3.6.1</version> <configuration> <source&g原创 2021-10-22 11:30:54 · 346 阅读 · 0 评论 -
xshell有时连上,有时连接不上虚拟机
xshell有时连上,有时连接不上虚拟机最近在学hadoop,自己搭建了虚拟机,后来虚拟机越来越多,大概有7、8台,然后经常切换无线网,后来有时xshell连不上这台虚拟机,过了一段时间又好了,但是另外一台缺连不上了。经过排查xshell、hadoop、vmware,最终确定是家庭网络中有一个WLAN的ip和虚拟机的ip重复了,而且WLAN的ip是自动分配的,也就是可能一会和第一台虚拟机的ip重复,一会可能会和另外一台虚拟机的ip重复。解决办法:在cmd命令行中使用ipconfig命令可以查看WLAN原创 2021-09-25 21:23:06 · 1865 阅读 · 0 评论 -
Hadoop报错:All specified directories are failed to load.
Hadoop报错:All specified directories are failed to load.先将所有的Hadoop进程停掉,然后清空将所有节点的Hadoop的安装目录下的data目录和logs目录,再重新启动就可以了。原创 2021-09-23 13:59:16 · 824 阅读 · 0 评论 -
一个Mapreduce案例
一个统计文件中单词出现次数的Mapreduce案例WordCountMapper.java中的内容:package com.jxd.mapreduce.wordcount;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;impor原创 2021-08-16 12:03:13 · 120 阅读 · 0 评论 -
HDFS常用的Api
HDFS常用的Api:package com.jxd.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.junit.After;import org.junit.Before;import org.junit.Test;import java.io.IOException;import java.net.URI;import java.net.URISynt原创 2021-08-16 08:11:24 · 585 阅读 · 0 评论 -
is running beyond the ‘VIRTUAL‘ memory limit. Current usage: 123.5 MB of 1 GB physical memory used
is running beyond the ‘VIRTUAL’ memory limit. Current usage: 123.5 MB of 1 GB physical memory used; 2.3 GB of 2.1 GB virtual memory used. Killing container.错误截图如下:在网上找了一下,说是要在yarn-site.xml中配置map和reduce使用的内存,但是,我一想,这才不过几个k的数据,我的虚拟机内存是2G,按照默认的也应该不会超出呀。所以,原创 2021-07-31 21:29:19 · 1027 阅读 · 0 评论 -
java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0
java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0出现这个错误之前,我的 Hadoop 的安装路径没有任何的中文和空格,我的 Hadoop 安装目录下的 bin 文件中有 hadoop.dll 和 winutils.exe 这两个文件,且在全局环境变量中将 Hadoop 的安装目录设置为了 HADOOP_HOME ,将 Hadoop 安装目录下的 bin 目录添加到了全局变量的 Path原创 2021-07-31 16:32:40 · 2432 阅读 · 0 评论