Hadoop
盐水鱼
这个作者很懒,什么都没留下…
展开
-
Hadoop 启动提示Unable to load native-hadoop library问题记录
Unable to load native-hadoop library for your platform… using builtin-java classes where applicable问题记录原创 2021-05-29 20:30:50 · 268 阅读 · 0 评论 -
Hadoop3.x启动后无法访问9870
使用start-dfs.sh或者start-all.sh启动后,无法访问9870端口。 查看log之后发现,是无法创建一个目录 需要修改core-site.xml,添加 <property> <name>hadoop.tmp.dir</name> <value>/var/hadoop</value> </property> 需要创建/var/hadoop sudo mkdir /var/hadoop 但是之后又报错,还需原创 2021-05-15 17:01:43 · 2855 阅读 · 1 评论 -
Hadoop Spark环境搭建
一、 JDK安装 创建目录 sudo mkdir /usr/lib/jvm 将下载好的jdk压缩包解压 sudo tar -zxvf dk-8u291-linux-x64.tar.gz -C /usr/lib/jvm/ 环境变量 sudo vim /etc/profile 添加 export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_291 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:$原创 2021-05-15 16:38:02 · 169 阅读 · 0 评论 -
Hadoop入门采坑记(1)
Hadoop入门采坑记(1) 近期做本科毕设需要用到Hadoop,刚接触Hadoop,遇到了不少问题,之后会一点一点在博客中记录这些问题和解决方法,这也是我个人遇到问题的解决办法,可能绕了弯路。(目前手里还没有截图,后续再更新) 1. Hadoop本地开发jar包依赖 在本地配置Hadoop开发环境,用了Hadoop 2.6的包,但是集群的运行环境是3.1.3,会产生一些问题。之后再本地搭建了Hadoop伪分布式环境,具体搭建方法参考网上,在这里我参考了《Hadoop权威指南》这本书。 为了方便原有项目的开原创 2020-05-11 17:28:46 · 259 阅读 · 0 评论