hadoop
关注
分享
扫一扫
文章平均质量分 68
躺平的赶海人
稳重踏实，待人真诚，学习钻研，勇于担当！
展开
-
大数据组件系列-Hadoop每日小问
数据大小远小于默认数据块大小文件。原创 2023-09-05 17:05:49 · 785 阅读 · 0 评论 -
解决Unable to load native-hadoop library for your platform... using builtin-java classes。。。
网上参考他人资料，这里记录下1、首先找到对应自己hadoop版本的64位的lib包，可以自己手动去编译，但比较麻烦，也可以去网上找，好多都有已经编译好了的。2、可以去网站：http://dl.bintray.com/sequenceiq/sequenceiq-bin/下载对应的编译版本wgethttp://dl.bintray.com/sequenceiq/sequenceiq-b...原创 2020-03-10 14:02:18 · 1170 阅读 · 0 评论 -
CentOS6安装Hadoop后运行hdfs警告Unable to load native-hadoop library for your platform... using builtin-java
情景：安装hadoop后启动运行HDFS报错：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable其实hdfs正常运行，各节点namenode和datanode等都正常运行的。但是就是有警告...原创 2020-03-10 13:56:33 · 279 阅读 · 0 评论 -
hadoop之实战揭开Mapreduce分解、分析wordCount程序的神秘面纱（一）
待更新，留存中。。。。原创 2019-11-12 21:54:10 · 101 阅读 · 0 评论 -
基于windows环境下hadoop架起Mapreduce 、Hive的沟通桥梁（一）
待更新，留存中。。。。原创 2019-11-12 21:50:10 · 101 阅读 · 0 评论 -
Hadoop:Call From wish/192.168.11.1 to wish:9000 failed on connection exception:java.net.ConnectExcep
问题：今天用eclipse连接hadoop hdfs时，配置Map/Reduce (V2) master , DFS master时出现以下报错信息：解决办法：1、打开Eclipse，依次点击“Window”→“Preferences”→“Hadoop Map/Reduce”，Hadoop installation directory配置为hadoop-2.6.5.rar压缩包解压目录...原创 2019-11-03 15:21:00 · 1157 阅读 · 0 评论 -
windows下hadoop-eclipse 开发环境搭建连接HDFS时报error: failure to login错误
在windows下部署hadoop集群，然后用eclipse部署开发环境搭建好后，连接HDFS系统时：在文件夹下提示：error: failure to login错误，连接不上，多方查找下，本地安装的java环境变量是32位的，于是重新卸载掉本地的java SE ,64位的版本一定要对应上。...原创 2019-11-03 11:33:28 · 808 阅读 · 0 评论 -
hadoop集群下各项配置文件部署，yarn-site.xml、hdfs-site.xml等详细版（待持续更新）
一、yarn-site.xml文件配置，下放resourcemanager简称RM参数 默认值（default） 备注 yarn.resourcemanager.hostname RM的hostname yarn.resourcemanager.scheduler.address ${yarn.resourcemanager.hostname...原创 2019-11-03 11:21:08 · 1305 阅读 · 1 评论 -
你会知道Ant的存在吗？
安装Ant1）下载http://ant.apache.org/bindownload.cgi下载其中的：apache-ant-1.10.7-bin.zip2）解压将下载完的ant解压到合适的路径下，如下图所示：3）设置环境变量新建ANT_HOME=E:\environment\apache-ant-1.10.7（这里需要填写你自己的真实路径）在PATH后面加 ;%...原创 2019-10-27 08:39:39 · 211 阅读 · 0 评论 -
hadoop2.6.x插件在 Eclipse上 如何配置
1.在eclipse上安装hadoop插件下载hadoop-eclipse-plugin-2.6.0.jar：官方下载：下载地址 实际下载地址：下载地址官方的下载链接太慢，如果有vpn下载会更好，将下载好的插件移动到eclipse安装目录下的plugins文件夹下。然后重新启动eclispe如下图所示：...原创 2019-10-26 20:19:31 · 128 阅读 · 0 评论 -
且看windows环境下Hadoop2.6.x-eclipse-plugin插件包如何下载？
首先下载对应版本的hadoop插件注意：Hadoop插件要跟自己安装的Hadoop版本相对应。这儿有一个Hadoop 2.X版本对应的Hadoop插件，前往下载， 下载hadoop2x-eclipse-plugin.zip。解压后，release文件夹下的hadoop.eclipse-kepler-plugin-2.2.0.jar即为我们所需要的插件。如下图：...原创 2019-10-26 19:44:48 · 343 阅读 · 0 评论 -
Windows下搭建本地hadoop开发环境（单机版），Are you Get?
一、下载必备安装包1.JDK下载地址：点击打开链接2.Hadoop下载地址：点击打开链接3.Windows下安装Hadoop工具下载地址:点击打开链接密码：yk9u二、Hadoop环境配置下载Hadoop，并解压到你的本地目录，我下载的是hadoop-2.6.5版本，解压在D:\hadoop\hadoop-2.6.5。 ...原创 2019-10-26 17:32:41 · 1952 阅读 · 0 评论 -
Error: JAVA_HOME is incorrectly set.Please update E:\hadoop\hadoop-2.6.5\conf\hadoop-env.cmd解决探秘
在控制台输入hdfs namenode -format 后提示Error: JAVA_HOME is incorrectly set.Please update E:\hadoop\hadoop-2.6.5\conf\hadoop-env.cmd错误如下图：E:\hadoop\hadoop-2.6.5\etc\hadoop>hdfs namenode -format系统找不到指定的路...原创 2019-10-26 16:22:53 · 2893 阅读 · 2 评论 -
hadoop启动时，报ssh: Could not resolve hostname now.: No address associated with hostname
[root@hadoop001 hadoop]# start-all.sh This script is Deprecated. Instead use start-dfs.sh and start-yarn.shStarting namenodes on [Java HotSpot(TM) Client VM warning: You have loaded library /usr/lo...原创 2019-10-22 19:58:51 · 2826 阅读 · 0 评论