hadoop
诚恳
也许只有坚持梦想,生活才有意义
展开
-
hadoop 求key最大值
首先,这个算法只是适合一个分区(默认一个分区)那么,在原创 2014-04-16 09:18:18 · 826 阅读 · 0 评论 -
hadoop 知识点LIST
1.为什么hadoop 不适合小文件读取? File原创 2014-04-20 19:01:51 · 530 阅读 · 0 评论 -
Runjar jarFile [mainClass] args...
1.在ecplise中到处jar报时,忘记原创 2014-05-14 20:31:48 · 3380 阅读 · 0 评论 -
hadoop 安全模式
1.安全模式下,是不能“添加,修改,删除”,只能查看原创 2014-04-20 17:19:06 · 481 阅读 · 0 评论 -
自定义的partitoner,需要放在liunx环境下运行,Windows下是无法识别分区下标的
IOException:No Partitioner[1]原创 2014-05-27 10:58:54 · 724 阅读 · 0 评论 -
jps could not synchronize with target
我们在hadoop中的hadoop-env.sh中HADOOP_NAMENODE_原创 2014-07-08 19:58:57 · 1868 阅读 · 0 评论 -
hadoop常用命令
一、用户命令1、archive命令(1).什么是Hadoop archives?Hadoop archives是特殊的档案格式。一个Hadoop archive对应一个文件系统目录。 Hadoop archive的扩展名是*.har。Hadoop archive包含元数据(形式是_index和_masterindx)和数据文件(part-*)。_index文件包含了档案中的文件转载 2014-06-21 09:10:18 · 494 阅读 · 0 评论 -
mkdir: Permission denied: user=root, access=WRITE, inode="/user":hdfs:hadoop:drwxr-xr-x
1.hadoop fs -ls /user 检查原创 2014-09-03 15:33:00 · 14022 阅读 · 1 评论 -
hadoop 动态添加新节点
1.在conf/slaves中配置新节点主机名2.在新节点中启动,从节点的datanode 和 tasktracker hadoop-daemon.sh start datanode hadoop-dasmon .sh start tasktracker3.新节点启动后,主节点需要了解,是否启动:hadoop dfsadmin -refreshNodes4.检验:通过原创 2014-04-20 16:28:25 · 726 阅读 · 0 评论 -
hadoop 动态下架(删除)节点
1.通过jps查看进程,选择对应原创 2014-04-20 16:39:08 · 994 阅读 · 0 评论 -
hadoop 自定义分组排序,求相同key中value最小值
在自定义排序上:http://blog.csdn.net/fln250/article/details/23731251,进行了分组,pin原创 2014-04-15 22:22:07 · 1025 阅读 · 0 评论 -
hadoop 自定义排序
hadoop 默认的排序机制是,通过keyji值原创 2014-04-15 07:45:51 · 1128 阅读 · 0 评论 -
hadoop开始
最近在网上了下有关学习的方法,确定以后的学习笔记放在博客上面,fn原创 2014-04-13 08:37:33 · 365 阅读 · 0 评论 -
MapReducer 求Top key 100最大值
这个问题最主要的俩个问题:1.去重(在MAPduan)原创 2014-04-17 09:17:39 · 811 阅读 · 0 评论 -
hadoop 知识点list
1.分布和伪分布的区别:原创 2014-04-17 19:11:52 · 579 阅读 · 0 评论 -
hadoop 小技能点list
1.如何知道hadoop中文件与文件之间原创 2014-04-16 21:22:32 · 502 阅读 · 0 评论 -
hadoop 分布式安装
分布式安装:1.原创 2014-04-18 09:40:02 · 502 阅读 · 0 评论 -
hadoop 伪分布安装
什么叫伪分布:hadoop只对应一个java进程---------------------------------------------------------------原创 2014-04-19 18:39:37 · 432 阅读 · 0 评论 -
DataNode启动异常"java.io.IOException: Cannot lock storage /i/dfs/dn. The directory is already lock"
1、以下为异常信息 2、发现问题 /data1、/data2、/data3都是挂宅点,但是/i是个什么东西 3、df -h 查找挂载信息 发现/i确实一个挂载点,但是/data8是一个什么挂载点呢? 通过df -h /data8 查看 4、确定问题! 发现了没?/i和/data8挂载在同一个磁盘下,所以对一个磁盘操作两原创 2017-12-04 14:32:03 · 1933 阅读 · 0 评论