Hadoop
关注
分享
扫一扫
是杰夫呀
记录学习的点点滴滴。
展开
-
Hadoop报错java.net.ConnectException: Call From xxx to localhost:8020 failed on connection exception
运行Spark时报错，java.net.ConnectException: Call From xxx to localhost:8020 failed on connection exception,caused by:java.net.ConnectException:拒绝连接提示可以去Hadoop官网上找答案，网址如下：https://cwiki.apache.org/conflue...原创 2019-08-16 10:49:49 · 7866 阅读 · 1 评论 -
Hadoop报错Error: JAVA_HOME is incorrectly set.Please update C:\hadoop-3.1.2\etc\hadoop\hadoop-env.cmd
配置Hadoop环境，发现报错：Error: JAVA_HOME is incorrectly set.Please update C:\hadoop-3.1.2\etc\hadoop\hadoop-env.cmd原因是Hadoop里的Java路径配置不对。1、打开C:\hadoop-3.1.2\etc\hadoop\hadoop-env.cmd这个文件，发现在第25行，配置的JAVA...原创 2019-08-21 23:23:17 · 4463 阅读 · 7 评论 -
Hadoop 四大组件总结
Hadoop 的四大组件：common、HDFS、MapReduce、YARNcommon(工具类)：包括 Hadoop 常用的工具类，由原来的 Hadoopcore 部分更名而来。主要包括系统配置工具 Configuration、远程过程调用 RPC、序列化机制和 Hadoop 抽象文件系统 FileSystem 等。它们为在通用硬件上搭建云计算环境提供基本的服务，并为运行在该平台上的软...原创 2019-08-27 23:41:21 · 1900 阅读 · 0 评论 -
大数据分析工程师面试15题 ◀ HDFS
作为大数据生态的基石，HDFS支撑着所有上层的组件，其重要性不言而喻。HDFS作为分布式存储的基础解决方案，为所有的其他组件提供高可用、稳定而高效的数据存储服务。我们必须要了解其基本原理和概念，一方面可以对工作中排查问题有比较大的帮助，另一方面方便我们与他人沟通交流。基本概念1 什么是HDFS？HDFS-Hadoop Distributed File System的缩写，源自于Go...原创 2019-09-17 00:15:34 · 494 阅读 · 0 评论 -
大数据技术生态介绍 一文读懂
大数据本身是个很宽泛的概念，Hadoop 生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每个工具有自己的特性，虽然奇怪的组合也能工作，但是未必是最佳选择。大数据，首先你要能存的下大数据。传统的文件系统是单机的，不能横跨不同的机...原创 2019-09-21 17:02:56 · 988 阅读 · 0 评论