Hadoop
Hadoop
从零开始的数据猿
这个作者很懒,什么都没留下…
展开
-
Linux空间不足、HDFS空间不足解决方法
参考https//blog.csdn.net/weixin_38425162/article/details/117570524。2、找到目录/user/root/.sparkStaging占用了大量空间,此目录下存放的是各spark历史任务依赖文件。3、执行hdfsdfs-rm-r/user/root/.sparkStaging/*查询hdfs中各目录的占用的空间,进入占用最多的目录中(一般是日志或临时文件)4、删除的文件会被保存到/user/root/.Trash,清空垃圾桶即可。...原创 2022-07-17 21:27:40 · 1326 阅读 · 0 评论 -
Hadoop基础必知必会
第1章 初识Hadoop大数据技术1.1 GFS思想论文”The Google File System“ 描述了一个分布式文件系统的设计思路。GFS解决问题的思路:增加一个管理节点,去管理这些存放数据的主机,存放数据的主机成为数据节点,而上传的文件会按固定的大小进行分块。数据节点上保存的是数据块,而非独立的文件。GFS架构中提到以下几点:GFS Master节点管理所有的文件系统元数据,包括命名空间、访问控制信息、文件和块的映射信息以及当前块的位置信息。GFS Master管理系统范围内的活动原创 2021-12-12 20:29:43 · 1912 阅读 · 0 评论 -
解决Input path does not exist:file://
Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: file:/data/SogouQ不知道为什么只识别本地路径,不识别hdfs上的路径解决办法hadoop jar HDFS_B19042015-1.0-SNAPSHOT-jar-with-dependencies.jar hdfs://ubuntu112:9000/data原创 2021-11-19 10:34:09 · 6016 阅读 · 0 评论 -
mapreduce中文乱码问题
用Hadoop处理数据的时候,发现输出的时候,总是会出现乱码,这是因为Hadoop在设计编码的时候,是写死的。默认是UTF-8,所以当你处理的文件编码格式不是为UTF-8的时候,比如为GBK格式,那么就会输出的时候就会出现乱码。问题解决:解决问题非常简单,就是转码,确定数据都是以UTF-8的编码格式在运行。在map端从文件中读取一行数据的时候,把他转为UTF-8格式。例如:我的文件是GBK格式的则:// 把数据以GBK的格式读过来 String line = new String(value.g原创 2021-11-18 21:18:31 · 987 阅读 · 0 评论 -
ERROR namenode.NameNode: Failed to start namenode. java.lang.IllegalArgumentException: URI has an au
经过排查是因为配置文件不能使用Linux的变量,如hadoop-env.sh里面红框里面及时你已经配置好了$JAVA_HOME,也不能写export JAVA_HOME=$JAVA_HOME,要写绝对路径我的错误就是上图红框我写成了${HADOOP_HOME}/tmp而导致的...原创 2021-09-27 19:47:10 · 5517 阅读 · 0 评论 -
java.net.BindException: 无法指定被请求的地址
Problem binding to [hadoop103:8031] java.net.BindException: 无法指定被请求的地址;Yarn启动必须在部署Yarn的机器上启动,start-dfs.sh和start-yarn.sh分别在两台机器上启动原创 2021-09-23 12:03:24 · 2031 阅读 · 2 评论 -
Hadoop java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/filter/Filter
bin/yarn jar lib/hbase-server-1.3.1.jar rowcounter stu结果直接报错Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/filter/Filterat java.lang.Class.getDeclaredMethods0(Native Method)at java.lang.Class.privateGetDeclaredMetho原创 2021-08-09 17:27:15 · 858 阅读 · 1 评论 -
Call From hadoop102/192.168.10.102 to hadoop102:8020 failed on connection exception: java.net.Connec
Call From hadoop102/192.168.10.102 to hadoop102:8020 failed on connection exception: java.net.ConnectException: 拒绝连接;2021-03-20 08:41:20,294 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.10.103:8032 java.net.ConnectException: Cal原创 2021-08-09 09:07:21 · 4732 阅读 · 0 评论 -
Hadoop wordcount报错解决方案
Error: Could not find or load main class org.apache.hadoop.mapred.YarnChild解决方案:1, 在命令行执行,复制信息。冒号用逗号代替hadoop classpath2 , 编辑yarn-site.xml,添加信息:</configuration><property> <name>namemapreduce.reduce.env/name</name>原创 2021-06-30 16:45:45 · 1764 阅读 · 1 评论