![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 88
hadoop
心有猛虎k
这个作者很懒,什么都没留下…
展开
-
关于Hadoop的一些使用心得
关于HDFS使用的一些心得写在前面: 在公司做大数据方面工作也有一段时间了,抽时间整理一下遇到的问题,和一些比较好的优化手段。1.HDFS存储多目录1.1生产服务器磁盘情况1.2在hdfs-site.xml文件中配置多目录,注意新挂载磁盘的访问权限问题。 HDFS的DataNode节点保存数据的路径由dfs.datanode.data.dir参数决定,其默认值file://${hadoop.tmp.dir}/dfs/data,若服务器有多个磁盘,必须对该参数进行修改。按照上图原创 2021-06-22 15:01:04 · 1225 阅读 · 0 评论 -
Error:scalac: Error: scala.collection.immutable.$colon$colon.tl$1()Lscala/collection/immutable/List;
第一次使用flink,scala使用的是2.11.12版本,但是我本地的scala是2.11.8,就报了上述的错误,去网上看了很多帖子,说的都比较笼统。下面是我的一些方法。1.去官网下载一份2.11.12的压缩包网址如下https://www.scala-lang.org/download/2.11.12.html2.将其解压缩到一份无中文的文件夹内3.在idea中找到4.进去之后通过+号和减号进行增加和删除sdk文件5.点击+号6.点击browse之后选择之前解压缩的文件,然后原创 2020-09-09 15:25:57 · 2582 阅读 · 0 评论 -
Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO
hadoop在本地执行MapReduce出现了如下相关异常该如何做?1.Exception in thread “main” java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z at org.apache.hadoop.io.na...原创 2020-04-15 09:06:09 · 1747 阅读 · 4 评论 -
小白也会搭的hadoop集群
搭建hadoop集群(版本:3.13)前言:最近在学习大数据的知识,hadoop集群作为大数据入门知识,一定要非常熟系,现在我将我自己搭建hadoop集群的步骤以及遇到的问题进行一个汇总。做到一个温故知新的作用。文章目录搭建hadoop集群(版本:3.13)一、准备一台安装Linux系统的虚拟机1. 配置虚拟机环境1.1 配置yum源1.2 安装辅助工具1.3设置静态ip1.4 修改主机名1....原创 2020-04-12 13:16:57 · 147 阅读 · 0 评论