hadoop
weixin_41255682
这个作者很懒,什么都没留下…
展开
-
hadoop集群搭建完毕后发现 活跃节点为零
首先通过网上其他人写好的过程进行搭建:https://www.linuxidc.com/Linux/2016-02/128149.htm搭建好集群后发现主节点上并没有datanode进程,而且子节点也无法连接到主节点,显示的错误如下:Retrying connect to server: mini01/192.168.50.131:9000. Already tried 0 time解决方案:1、...原创 2018-05-14 15:57:30 · 1701 阅读 · 1 评论 -
Hadoop中查看HDFS中的一个文件的位置信息
命令行hadoop fsck /user/filename -files -blocks -locations -racks-files 文件分块信息,-blocks 在带-files参数后才显示block信息-locations 在带-blocks参数后才显示block块所在datanode的具体IP位置,-racks 在带-files参数后显示机架位置...转载 2018-05-15 16:32:50 · 12764 阅读 · 0 评论 -
hadoop 自带示例wordcount 详细运行步骤
https://blog.csdn.net/u010414589/article/details/51254218转载 2018-05-15 16:26:42 · 281 阅读 · 0 评论 -
用python访问hdfs出现webhdfs找不到的情况
有可能是webhdfs服务没有开启向hdfs-site.xml文件中添加属性:<property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> 可以使用如下命令检测, 获得目录的列表: curl -i "http://Ha...原创 2018-05-16 19:33:51 · 2079 阅读 · 0 评论 -
hadoop在window上用浏览器访问HDFS打不开Browse the filesystem网页
原因:网页转向的地址用的是hadoop集群的某一个datanode的主机名,而由于客户端的浏览器无法解析这个主机名,因此该页无法显示 解决方法:在window的host文件上添加上集群的ip地址和主机名的映射关系...转载 2018-08-10 16:17:57 · 2123 阅读 · 0 评论 -
linux环境下hadoop版本的升级、更换
原版本:1.2.1,预更换版本:2.6.4下载hadoop的tar.gz文件:hadoop-2.6.4.tar.gz解压tar.gz文件:tar -zxvf hadoop-2.6.4.tar.gz修改文件内容或者直接用原来版本的这些文件覆盖新下载的文件:hadoop-env.shcore-site.xmlhdfs-site.xml mapred-site.xmly...原创 2018-08-06 20:54:23 · 5273 阅读 · 1 评论 -
在eclipse编译的jar文件到了linux上跑,出现Unsupported major.minor version 52.0错误
首先检查jar文件编译所用的jdk版本,以及linux系统的jdk版本 1、检查eclipse编译所用的jdk版本 ------->右键项目---->属性----->java编译器 (我这里原本是1.8_101版本)2、查看linux系统所用的jdk版本 ------->java -version (我这里的版本是1.8_181)...原创 2018-09-18 23:30:49 · 800 阅读 · 0 评论