- 博客(14)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 与HDFS命令交互时如何指定文件和目录确切位置的URI
本文介绍URI的基本格式，并结合Hadoop 2.7.x相关HDFS命令，讲解在与HDFS交互中如何指定文件和目录确切位置的URI。
2017-09-30 23:08:21
5323
原创 如何解决apt-get中Unmet dependencies问题
新安装的Ubuntu 16.04 TLS系统，由于apt-get upgrade过程中断，导致依赖损坏；安装新的包时，提示Unmet dependencies问题。本文记录了问题的排查方法及解决方案
2017-09-30 21:35:22
73796
6
原创 Ubuntu 16.04 TLS Samba配置
本文介绍了如何在Ubuntu 16.04 TLS系统上配置Samba，并在Windows系统中将共享目录作为指定驱动器挂。
2017-09-28 13:22:26
955
原创 如何解决Hadoop集群环境下DataNode无法连接NameNode问题
本文总结了在Hadoop集群环境下，DataNode无法连接NameNode的问题：2017-02-13 05:43:01,540 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: hadoop-master-vm/10.220.33.37:9000，重点在于问题的排除思路和方法。该问题出现的运行环境为Ubuntu 16.05 TLS, Hadoop 2.7.3环境下。
2017-09-22 23:02:42
8682
原创 Ubuntu环境下Hadoop集群/分布式环境配置
简介本文介绍了在Ubuntu 16.04 TLS系统下，如何配置Hadoop 2.7.3集群运行环境。环境大搭建使用了虚拟化平台VMware vSphere 5.1，方便虚机的拷贝和部署。读者也可以在个人PC上通过虚拟化软件VirutalBox或WorkStation部署Hadoop的集群环境。
2017-09-22 13:47:46
1420
原创 Hadoop-使用MRUnit来写单元测试
单元测试是用来对一个模块、一个函数或者一个类来进行正确性检验的测试工作。在MapReduce开发中，如何能对Mapper和Reducer进行详尽的单元测试，能够及早发现问题，加快开发进度。 本文结合具体的例子，简单总结如何使用MRUnit来对Hadoop的Mapper和Reducer进行单元测试。本文的相关代码可以从Github获取：https://github.com/liujinguang/hadoop-study.git
2017-09-20 17:32:18
1791
2
原创 如何解决Maven: Failed to read artifact descriptor
本文总结了在Maven多模块项目下，一模块引用其它模块时，如何解决“Failed to read artifact descriptor”问题。
2017-09-18 20:53:21
37547
13
原创 如何从kernel文件中提取config配置文件
本文介绍如何使用extract-ikconfig脚本从已存在linux image, zImage或bzImage中提取config配置文件（仅适用于内核配置时时支持IKCONFIG选项）。
2017-09-14 13:55:38
5109
原创 运行mvn命令出现MojoNotFoundException异常
尝试从命令行创建Maven项目时，遇到了目标不支持的情况，尽管Maven给出了明确的提示信息，但感觉这种问题比较典型，需要记录一下。
2017-09-11 21:18:05
3447
原创 Ubuntu环境下搭建Hadoop Eclipse开发环境
本文介绍了在Ubuntu环境下，如何搭建Hadoop的Eclipse开发环境，并以实际的例子为例，演示应用具体的开发步骤。Hadoop伪分布式运行环境的配置，不算复杂，可以参考个人整理的在Ubuntu环境下搭建Hadoop伪分布式模式运行环境。
2017-09-10 18:06:40
1273
1
原创 Hadoop 2.7.x NameNode重新格式化后导致DataNode无法启动问题
Hadoop 2.7.x伪分布式运行环境下，由于NameNode重新格式化后，导致DataNode无法正常启动。本文总结了此问题的解决方法和思路，供个人参考。
2017-09-10 12:12:57
3103
1
原创 在Ubuntu环境下配置Hadoop伪分布式模式运行环境
本文介绍了在Ubuntu 16.04 TLS系统上，如何安装和配置Hadoop 2.7.3的伪分布式模式。
2017-09-09 21:38:33
1531
原创 Java I/O流总结
近期学习Hadoop的过程中，发现对流的概念理解的不是很深入。决定把《Java核心技术》书中关于流与文件的部分重新梳理学习。结合JDK 7，利用SmartDraw工具将流中主要的类接口通过UML图，将I/O主要的流类和接口展示出来。
2017-09-03 12:11:27
530
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人