hadoop
文章平均质量分 75
c692088846
这个作者很懒,什么都没留下…
展开
-
ubuntu安装 hadoop
1:准备 1):mvware 三台机器(ip不用自己设置,网络nat即可) vim /etc/hosts hadoop1 192.168.197.129 namenode jobtracker hadoop2 192.168.197.130 ...原创 2013-12-08 22:40:34 · 84 阅读 · 0 评论 -
hadoop命令
1:建个文件夹hadoop fs -mkdir data 报错:mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/data. Name node is in safe mode. 解决:hadoop dfsadmi...原创 2013-12-09 22:08:24 · 206 阅读 · 0 评论 -
pig实战(转)
1. pig简介2. 安装pig3. 实战pig4. 深入pig5. 参考资料及代码下载 <1>. Pig简介 pig 是hadoop项目的一个拓展项目, 用以简化hadoop编程(简化的程度超乎想象啊),并且提供一个更高层次抽象的数据处理能力,同时能够保持hadoop的简单和可靠性。<2>. 安装pig 2.1 下...原创 2013-12-12 23:26:49 · 146 阅读 · 0 评论 -
hadoop权威指南 读书笔记
第二章:关于mapReduce mapreduce是一种可用于数据处理的编程模型,它是并行运行的,可以处理大规模数据分析。处理少量大文件比大量小文件更容易 mapreduce两个处理阶段: map阶段和reduce阶段,每个阶段都以key/value做为输入和输出,类型由程序员选择map中的key是文件中...原创 2013-12-12 23:29:40 · 113 阅读 · 0 评论 -
pig学习笔记
1:数据类型 基本类型和复合类型(即由多个基本类型结成的类型) 基本类型:(int,long,float,double,chararray,bytearray) 基本的类型与java中的类型一致 chararray:字符串(String)或字符数组(‘aaa’或'\n'可以表示特殊符号) b...原创 2013-12-18 11:25:48 · 92 阅读 · 0 评论 -
hadoop 错误汇总(转)
1:50030界面状态一直为:INITIALIZING(正在初始化) 50070里的日志(hadoop-root-jobtracker-bogon.log)报org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot delet...原创 2013-12-19 23:04:11 · 309 阅读 · 0 评论 -
namenode无法启动
最近遇到了一个问题,执行start-all.sh的时候发现JPS一下namenode没有启动 每次开机都得重新格式化一下namenode才可以 其实问题就出在tmp文件,默认的tmp文件每次重新开机会被清空,与此同时namenode的格式化信息就会丢失 于是我们得重新配置一个tmp文件目录 首先在home目录下建立一个hadoop_tmp目...原创 2013-12-24 21:42:30 · 171 阅读 · 0 评论