- 博客(15)
- 收藏
- 关注
RSS订阅原创 Hadoop伪分布式系统搭建、运行和遇到的问题
之前学习Hadoop都是运行的本地模式，现在到了搭建伪分布式系统阶段。理论和实践必须结合进行，看书能看懂是一回事，亲自上手实践又是另一回事，会遇到各种问题。而有些是自身理解和操作错误可能很是棘手。下面一步步来吧！ 1.安装Java 要想能够搭建伪分布式系统前提是安装Java(按照自己的电脑是32位还是64对应下载)，然后配置环境变量JAVA_HO...
2018-12-29 17:10:54
1218
原创 关于SequenceFile.Writer.createWriter()被抛弃的重载方法和替代方法
今天在学习Hadoop的I/O操作时，对于基于文件的数据结构SequenceFile这个类的使用时遇到了一个问题，我是基于Hadoop-2.8.5。其中在调用SequenceFile的createWriter(FileSystem fs,Configuration conf,Path path,Writable key,Writable value)方法和SequenceFile...
2018-12-24 23:36:11
1632
原创 Java内部类
内部类是定义在另一个类中的类。为什么需要使用内部类呢？其主要原因有以下三点：内部类方法可以访问该类定义所在的作用域中的数据，包括私有的数据。 内部类可以对同一个包中的其他类隐藏起来。 当想要定义一个回调函数且不想编写大量代码时，使用匿名内部类比较便捷。内部类的特殊语法规则： 使用外部类引用的表达式为OuterClass.this，在外部类的作用域之外，可以这样引用内部类：OuterCla...
2018-12-17 21:41:09
137
原创 本地模式测试编写的MapReduce作业程序
MapReduce作业任务过程分为两个处理阶段：map阶段和reduce阶段，每个阶段都以键-值对的形式作为输入和输出。下面分别列出map函数和reduce函数。(reduce的输入必须匹配map的输出。)本例，map阶段采集的是气象数据，依据年份作为key，进行排序，温度值作为value。然后reduce对输入的map数据，从中挑选年份中的最高气温值。(本例使用的是hadoop-2.8.5)...
2018-12-12 22:37:38
568
原创 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform解决方法
测试Hadoop本地模式时出现了这么一个警告！18/12/09 22:07:09 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable no native hadoop libra...
2018-12-09 22:39:30
5452
2
转载 Mac终端dscl命令对组/用户的增删改查（转载）
注意：注意空格，比如文中出现的"."，它的两侧都有一个空格！ 查看所有的组 (仅显示组名)方法①： 输入dscl -> cd /Local/Default/Groups -> ls方法②： dscl . -list /Groups查看所有的组 （显示所有组的详细信息）dscl . -readal...
2018-12-06 23:13:24
2244
原创 (Java)编写一个比较完美的equals方法的建议：
Java语言规范要求equals具有下面的特性：1.自反性：对于任何引用x，x.equals(x)应该返回true。2.对称性：对于任何引用x和y，当且仅当y.equals(x)返回true，x.equals(y)也应该返回true。3.传递性：对于任何引用x、y和z，如果x.equals(y)返回true，y.equals(z)返回true，x.equals(z)也应该返回tru...
2018-12-04 22:42:40
159
原创 构建Hadoop集群
集群规范 Hadopp运行在商业硬件上。用户可以选择普通硬件供应商生产的标准化的、广泛有效的硬件来构建集群。Hadoop一般使用多核CPU和多磁盘，以充分利用硬件的强大功能。（建议采用ECC内存，因为非ECC内存会产生校验和错误。） 注：为何不使用RAID？尽管建议采用RAID作为namenode的存储器以保护元数据，但是若将RAID作为datanode的存...
2018-12-03 21:20:41
251
原创 Configuration类的使用（扩充中）
Hadoop中的组件是通过Hadoop自己的配置API来配置的。一个Configuration类的实例代表配置属性及其取值的一个集合。Configuration类可以在org.apache.hadoop.conf包中找到。 每个属性由一个String来命名，而值的类型可以是多种类型之一，包括Java基本类型(如boolean、int、long和float)、其他...
2018-11-29 23:16:32
917
转载 pom.xml详解
什么是POM？POM是项目对象模型(Project Object Model)的简称,它是Maven项目中的文件，使用XML表示，名称叫做pom.xml。作用类似ant的build.xml文件，功能更强大。该文件用于管理：源代码、配置文件、开发者的信息和角色、问题追踪系统、组织信息、项目授权、项目的url、项目的依赖关系等等。事实上，在Maven世界中，project可以什么都没有，甚至没有代...
2018-11-28 16:49:06
224
转载 零基础学习hadoop到上手工作线路指导（转载）
网上看到的一篇讲述Hadoop从刚开始学习到上手工作的过程，感觉不错。特此copy下来学习。问题导读：1.hadoop编程需要哪些基础？2.hadoop编程需要注意哪些问题？3.如何创建mapreduce程序及其包含几部分？4.如何远程连接eclipse，可能会遇到什么问题？5.如何编译hadoop源码？阅读此篇文章，需要些基础下面两篇文章零基础学习hadoop到上手工作线路指导（初级篇）...
2018-11-28 13:11:10
144
转载 Java断言的开启关闭和初步使用
1 说明 java断言assert是jdk1.4引入的。 jvm断言默认是关闭的。 断言可以局部开启的，如：父类禁止断言，而子类开启断言，所以一般说“断言不具有继承性”。 断言只适用复杂的调式过程。 断言一般用于程序执行结构的判断，千万不要让断言处理业务流程。2 判断eclipse是否开启了断言 代码如下：public static void main...
2018-11-27 21:23:12
2467
原创 Hadoop学习笔记（四）
第五章 Hadoop的I/O操作数据完整性 检测数据是否损坏的常见措施是在数据第一次引入系统时计算检验和并在数据通过一个不可靠的通道进行传输时，再次计算检验和，这样就能发现数据是否损坏。 ⓵HDFS的数据完整性 HDFS会对写入的所有数据计算检验和，并在读取数据时验证检验和。HDFS存储着每个数据块的复本，因此它可以通过数据复本来修复损坏...
2018-11-25 23:24:45
242
原创 Hadoop学习笔记（三）
第四章 关于YARNApache YARN（Yet Another Resource Negotiator）是Hadoop的集群资源管理系统。 剖析YARN应用运行机制 YARN通过两类长期运行的守护进程提供自己的核心服务：管理集群上资源使用的资源管理器（resource manager），运行在集群中所有节点上且能够启动和监控容器（container）的节点管理器（n...
2018-11-25 22:46:50
123
原创 Hadoop学习笔记（一）
第一章 初识Hadoop 数据！数据！ ”大数据胜于好算法。“意思是说对于某些应用，不论算法有多牛，基于小数据的推荐效果往往都不如基于大量可用数据的一般算法的推荐效果。 不仅仅是批处理 名词”Hadoop“有时被用于指代一个更大的、多个项目组成的生态系统，而不仅仅是HDFS和MapReduce。这些项目都属于分布式计算和大规模数据处理范畴。这些项目就包括了：1.第一个...
2018-11-19 22:24:55
142
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人