![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
bigdata
没有刺的仙人掌
人的一切痛苦,本质上都是对自己无能的痛苦
展开
-
Hadoop于VMware下配置----Ubuntu18.04(单主机Hadoop环境)
一、准备工作 1.虚拟机:vmware10及其注册机 https://pan.baidu.com/s/1B9Rkckcd7GEFv4o-EVdu_Q 2.操作系统:Ubuntu18.04 https://pan.baidu.com/s/1aF04l2NQ41tzmybRxQJXhQ 3.Hadoop2.6.4: ...原创 2019-01-16 13:57:17 · 483 阅读 · 0 评论 -
Hadoop于VMware下配置----Ubuntu18.04(多主机Hadoop集群)
一、环境准备 请看上一篇Hadoop于VMware下配置----------Ubuntu18.04(单主机Hadoop环境),该篇将在上一篇的基础上介绍如何安装多台机器的Haddop集群,以及Hadoop资源管理与NameNode HDFS Web界面 集群结构规划二、 创建data1节点服务器 1.将master服务器 完整克隆,并命名为da...原创 2019-01-16 15:21:09 · 381 阅读 · 0 评论 -
hadoop-spark错误集
一、spark错误Failed to initialize compiler: object java.lang.Object in compiler mirror not found.** Note that as of 2.8 scala does not assume use of the java classpath.** For the old behavior pass -u...原创 2019-01-29 12:57:34 · 468 阅读 · 0 评论 -
hadoop学习----hadoop api的使用(java版)
一、包的导入 在项目目录下创建lib文件夹来保存复制的hadoop的jar包 一般所需的jar包都在hadoop下的share目录下,把里面的都导进去,我用的是hadoop 2.6版本,不够hadoop 2.x版本都能使用差不多版本的jar包。像我使用的*-client-*.jar就是拿的hadoop2.8版本的。 懒得自己找的...原创 2019-02-16 14:36:09 · 386 阅读 · 0 评论 -
HDFS工作机制详解
一、Namenode 和 Datanode 一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。Namenode是一个中心服务器,负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。集群中的Datanode一般是一个节点一个,负责管理它所在节点上的存储。HDFS暴露了文件系统的名字空间,用户能够以文件的形式在上面存储数据。从内部看,...原创 2019-02-16 15:05:46 · 364 阅读 · 0 评论 -
怎样修复基于Spark, MapReduce和Hive Jobs的Alluxio错误
本文介绍了出现'Class alluxio.hadoop.FileSystem not found'报错的原因及其解决方法翻译原文为:https://dzone.com/articles/alluxio-developer-tip-how-to-fix-quotclass-alluxio____________________________________________________...翻译 2019-03-08 11:28:29 · 170 阅读 · 0 评论