hadoop
零点起航
java新手
展开
-
Hadoop分布式编程
用Hadoop进行分布式并行编程程序实例与分析Hadoop 是一个实现了MapReduce 计算模型的开源分布式并行编程框架,借助于Hadoop, 程序员可以轻松地编写分布式并行程序,将其运行于计算机集群上,完成海量数据的计算。在本文中,详细介绍了如何针对一个具体的并行计算任务,基于Hadoop 编写程序,如何使用 IBM MapReduce Tools 在 Eclipse 环境中原创 2012-12-28 17:58:08 · 562 阅读 · 0 评论 -
hadoop例句精讲
1、MapReduce理论简介 1.1 MapReduce编程模型 MapReduce采用"分而治之"的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。简单地说,MapReduce就是"任务的分解与结果的汇总"。 在Hadoop中,用于执行MapReduce任务的机器角色有两个:一个是JobTrac原创 2012-12-28 17:30:42 · 386 阅读 · 0 评论 -
hadoop完全分布式配置
Hadoop的经验总结一、 准备工作:① 安装虚拟机:要把ip设为静态的,不然自动重启时ip会有变化;在虚拟机上安装好JDK,然后克隆两台虚拟机,Ip分别为:172.19.121.123、172.19.121.121、172.19.121.124,在三台机器相同路径下创建相同的用户,在用户下安装hadoop。② Hadoop安装,在官网下载tar.gz安装包,解压即可.原创 2013-01-04 14:44:26 · 604 阅读 · 0 评论 -
hadoop中与文件读取相关的类FSDataInputStream、FileSystem 及其方法
一、从Hadoop URL 中读取数据使用java.net.URL对象打开一个数据流InputStream in = new URL("hdfs://host/path").openStream();二、FileSystem 对象取得FileSystem实例有两种静态方法:(1)public static FileSystem get(Confi原创 2013-01-04 10:32:19 · 6748 阅读 · 0 评论 -
hadoop常见问题
1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer:程序 里面需要打开多个文件 ,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但是对于程序来讲,就太少了。修改办法:修改2个文件。 /etc/security/limits.conf原创 2013-01-06 13:54:46 · 516 阅读 · 0 评论 -
hadoop访问数据库
Hadoop主要用来对非结构化或半结构化(HBase)数据进行存储和分析,而结构化的数据则一般使用数据库来进行存储和访问。本文的主要内容则是讲述如何将Hadoop与现有的数据库结合起来,在Hadoop应用程序中访问数据库中的文件。 1.DBInputFormatDBInputFormat是Hadoop从0.19.0开始支持的一种输入格式,包含在包org.apache.hadoop.ma原创 2013-01-08 14:08:39 · 638 阅读 · 0 评论 -
hadoop乱码
hadoop乱码文件存入hadoop出现乱码,尤其是在windows下的cygwin环境测试时候 囧 建议使用如下配置,而不是去改hadoop源码: hadoop-env.shexport HADOOP_OPTS="-server -Dfile.encoding=utf-8 -Duser.language=zh"原创 2013-01-10 13:57:52 · 639 阅读 · 0 评论 -
HDFS的文件操作
HDFS的文件操作格式化HDFS命令:user@namenode:hadoop$ bin/hadoop namenode -format 启动HDFS命令:user@namenode:hadoop$ bin/start-dfs.sh列出HDFS上的文件命令:user@namenode:hadoop$ bin/hadoop dfs -ls 使用hadoop A原创 2013-01-10 14:05:44 · 708 阅读 · 0 评论 -
用把数据从hdfs写入到mysql
sqoop是一个能把数据在关系型数据库和HDFS之间互相传输的工具。在这里,我写一下用java程序来实现sqoop把数据从HDFS写入到MYSQL。 在接触sqoop之前,我自己写了一个传输类来实现sqoop是一个能把数据在关系型数据库和HDFS之间互相传输的工具。在这里,我写一下用java程序来实现sqoop把数据从HDFS写入到MYSQL。 在接触sqo原创 2013-01-10 14:03:09 · 3317 阅读 · 1 评论