- 博客(19)
- 收藏
- 关注
RSS订阅转载 hadoop启动后jps没有namenode
hadoop启动后jps没有namenode一般都是由于两次或两次以上格式化NameNode造成的，有两种方法可以解决：1.删除DataNode的所有资料2.修改每个DataNode的namespaceID(位于/home/hdfs/data/current/VERSION文件中)或修改NameNode的namespaceID(位于/home/hdfs/name/curre
2015-01-12 10:11:10
2095
转载 HTTP协议是无状态协议，怎么理解？
Http是一个无状态协议，同一个会话的连续两个请求互相不了解，他们由最新实例化的环境进行解析，除了应用本身可能已经存储在全局对象中的所有信息外，该环境不保存与会话有关的任何信息。自己的理解，在asp.net里：每次提交服务器的页面没有任何关系，每次记录在页面的信息下次提交是记不住的，（除了应用本身可能已经存储在全局对象中的所有信息外）在.net里实际就是ViewState，ViewStat
2014-10-24 15:44:24
558
转载 java实现常见排序算法
排序一直以来都是让我很头疼的事，以前上《数据结构》打酱油去了，整个学期下来才勉强能写出个冒泡排序。由于下半年要准备工作了，也知道排序算法的重要性（据说是面试必问的知识点），所以又花了点时间重新研究了一下。 排序大的分类可以分为两种：内排序和外排序。在排序过程中，全部记录存放在内存，则称为内排序，如果排序过程中需要使用外存，则称为外排序。下面讲的排序都是属于内排序。 内排序有可以
2014-10-10 10:15:48
585
转载 HTTP协议详解
Author :Jeffrey My Blog：http://blog.csdn.net/gueter/ 引言 HTTP是一个属于应用层的面向对象的协议，由于其简捷、快速的方式，适用于分布式超媒体信息系统。它于1990年提出，经过几年的使用与发展，得到不断地完善和扩展。目前在WWW中使用的是
2014-10-04 11:03:08
427
转载 Hadoop 新 MapReduce 框架 Yarn 详解 及 与V1 MapReduce 框架 区别
Hadoop MapReduceV2(Yarn) 框架简介原 Hadoop MapReduce 框架的问题对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读者可参考 Hadoop 官方简介。使用和学习过老 Hadoop 框架（0.20.0 及之前版本）的同仁应该很熟悉如下的原 Ma
2014-09-02 11:30:21
1103
转载 Java中的成员方法与构造方法
首先要搞清楚什么是类方法，什么是构造方法一个类中的方法分为三类：1）全局方法 2) 成员方法 3）构造方法例：123456789101112public class Test{private int age; //这
2014-07-17 10:29:35
1641
转载 详细介绍java中的枚举类型
枚举其实就是一种类型，跟int, char 这种差不多，就是定义变量时限制输入的，你只能够赋enum里面规定的值。建议大家可以看看，这两篇文章，《java枚举类型入门》和《C++的中的结构体和枚举》，供大家参考。枚举类型是JDK5.0的新特征。Sun引进了一个全新的关键字enum来定义一个枚举类。下面就是一个典型枚举类型的定义：Java代码：public enum Color{
2014-07-07 08:47:53
550
转载 Hadoop MR编程中main()函数参数注入
下面介绍MapReduce的主要的六个类，只有了解了这六个类的作用，才能在编写程序中知道哪个类是要自己实现，哪些类可以调用默认的类，才能真正的做到游刃有余，关于需要自己编写的类（用户制定类）可以参考：http://www.cnblogs.com/liqizhou/archive/2012/05/14/2499498.html InputFormat类。该类的作用是将输入的文件和数据分割成许
2014-07-01 11:10:07
1898
转载 Mahout命令使用参数介绍
版本：0.5输入命令： mahout预期结果：Running on hadoop, using HADOOP_HOME=/home/username/local/hadoopHADOOP_CONF_DIR=/home/username/local/hadoop/confAn example program must be given as the fir
2014-06-23 16:37:22
1605
转载 JSONObject和JSONArray遍历数组与对象
1、识别json格式字符串是JSONObject还是JSONArrayJSON数据格式只有两种形式，分别是：12{"key":"value"}//JSONObject(对象)[{"key1":"value1"}, {"key2":"value2"}]//JSONArray(数组)
2014-06-13 15:30:44
1072
转载 Distribute Cached 使用
转载自：http://www.cnblogs.com/cenyuhai/p/3336024.htmlDistributedCache: 一些比较小的需要共享的文件或者jar包，我们先存到hdfs上，然后在MapReduce线程当中进行共享，直接用了。
2014-06-09 09:27:19
629
转载 map-reduce 优化
map阶段优化参数：io.sort.mb（default 100）当map task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。而是会利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预排序来优化整个map的性能。每一个map都会对应存在一个内存buffer,map会将已经产生的部分结果先写入
2014-06-09 09:21:37
521
转载 Hadoop文件操作基本命令
* 文件操作 * 查看目录文件 * $ hadoop dfs -ls /user/cl * * 创建文件目录 * $ hadoop dfs -mkdir /user/cl/temp * * 删除文件 * $ hadoop dfs -rm /user/cl/temp/a.txt * * 删除目录与目录下所有文件 * $ hadoop dfs -rmr /u
2014-06-05 09:26:48
780
转载 Hadoop的回收机制
这两天在操作Hadoop集群时，由于一个误操作，制作了一个天大的悲剧不小心把Hadoop集群上的所有文件全部删除了，具体情况是这样的：我用hadoop的超级帐户要建立一个目录，结果发现位置错了也是，想使用rmr删掉那个目录，可是不小心把命令写成了hadoop fs -rmr /user于是，悲剧出现了，所有user目录下的所有目录和文件全都没有了
2014-06-05 09:20:09
645
转载 TF-IDF算法
转载：http://www.cnblogs.com/biyeymyhjob/archive/2012/07/17/2595249.html
2014-05-26 10:29:31
727
转载 Java 多线程实例讲解综述
编写具有多线程能力的程序经常会用到的方法有： run(), start(), wait(), notify(), notifyAll(), sleep(), yield(), join() 还有一个重要的关键字：synchronized 本文将对以上内容进行讲解。 一：run() 和start() 示例1： public clas
2014-05-22 20:21:01
553
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人