Hadoop
gz153016
格局,品味
展开
-
009_Hadoop 1.x 生态系统介绍讲解
解析:原创 2016-01-19 12:39:42 · 314 阅读 · 0 评论 -
Hadoop核心项目
1、总体概况2、HDFS架构:3、yarn架构3、mapreduce架构5、storm架构原创 2016-02-01 23:14:09 · 449 阅读 · 0 评论 -
what is hadoop?
原创 2016-02-01 22:51:52 · 341 阅读 · 0 评论 -
hadoop的一些的说明
1、java语言编写的框架2、分布式存储(HDFS hadoop distribulated file system )让用户感觉不到数据分散到多台机器中存储的(例如:云盘存储),好像在一台机器上操作一样。因为数据量的巨大的,一台机器是不能存储完的,因此必须分多台计算机存储。3、分布式计算(MapReduce)指的是一套程序在很多台机器中运行,协同完成一件事情。并不是所有的程序都能分布式运原创 2016-01-19 14:57:55 · 286 阅读 · 0 评论 -
hadoop FS Shell
调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme。一个HDFS文件或目原创 2016-01-19 22:56:05 · 383 阅读 · 0 评论 -
HDFS 设计目标
1、hadoop的设计假设和目标廉价机的磁盘容易坏。2、hdfs的设计目标和假设用户控件可以位于异构的操作系统中:原创 2016-01-21 15:41:12 · 2048 阅读 · 0 评论 -
Eclipse导入Hadoop源码项目
总体概述:1、将这个5个目录到java工程的src下2、3.把lib中的jar包,放到java project中accessible:原创 2016-01-21 14:39:19 · 470 阅读 · 0 评论 -
Hadoop 1.x目录结构
1、Hadoop 1.x目录结构原创 2016-01-21 12:32:29 · 413 阅读 · 0 评论 -
hadoop进程的配置文件解析
1、core-site fs.default.namehdfs://redhat5:9000hadoop.tmp.dir/gaozhen/data/temp2、hdfs-site dfs.replication1原创 2016-01-19 19:58:08 · 304 阅读 · 0 评论 -
结合WordCount实例精解Hadoop的数据存储和运算
1、需要分析的文件放到/wc/input/ 分析的结果放到 /wc/output/2、3、4、4、原创 2016-01-20 15:52:58 · 429 阅读 · 0 评论 -
hadoop-运行hadoop jar hadoop-examples-1.2.1.jar wordcount /wc/input/ /wc/output/
查看结果:在地址栏:输入 主机名:50070点击_logs 下面的进入统计单词的结果。原创 2016-01-20 15:07:52 · 2909 阅读 · 0 评论 -
java.lang.Throwable: Child Error at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271) Ca
/gaozhen/jdk1.7.0_79/jresource hadoop-env.sh 将jdk变成jre的home目录:[root@redhat5 ~]# hadoop fs -rmr /wc/output/ --这个目录不删除 也会报错[root@redhat5 hadoop-1.2.1]# hadoop jar h原创 2016-01-20 14:33:42 · 819 阅读 · 0 评论 -
Warning: $HADOOP_HOME is deprecated. hadoop解决方法补充版
下面的解决方案我亲自试了没有问题;可行,但是对于初学者来说肯定会有一个疑问;这个.bash_profile文件到底在哪呢;其实很简单:当前用户的.bash_profile在/home/用户/下,系统的.bash_profile在/etc/skel目录下; 默认可能是隐藏的;有人会问了,隐藏的我怎么打开它,一个简单的办法,直接使用vi命令打开指定目录下的该文件就可以了;比如:vi /root/.转载 2016-01-19 19:15:18 · 376 阅读 · 0 评论 -
分析Hadoop 1.x三种启动停止方式
原创 2016-01-20 17:22:50 · 303 阅读 · 0 评论 -
018_Hadoop 1.x 守护进程服务三种启动停止
[root@redhat5 bin]# ./hadoop-daemons.shUsage: hadoop-daemons.sh [--config confdir] [--hosts hostlistfile] [start|stop] command args...[root@redhat5 bin]#原创 2016-01-19 21:43:39 · 327 阅读 · 0 评论 -
017_查看Hadoop 日志以及日志的格式
root@redhat5 bin]# pwd/gaozhen/hadoop-1.2.1/bin[root@redhat5 bin]# cd ..[root@redhat5 hadoop-1.2.1]# lsbin hadoop-examples-1.2.1.jar logsbuild.xml had原创 2016-01-19 21:09:09 · 555 阅读 · 0 评论 -
云计算教程
最近一两年,云计算技术越来越受到IT人士的亲睐,很多人都开始在学习,比如hadoop,大数据处理技术等等,但是网上相关资料非常少,会的人也不多,很多企业都在需求这方面的技术人才,待遇也是相当可观。小编在此给大家推荐几套相关的视频教程,希望借此可以帮助到那些渴望学习但又苦于没有资料的朋友。有疑问的朋友可以咨询QQ:1192694399 1、首先第一套教程名为《大数据高并发系统架构实战方案(转载 2016-06-12 08:45:30 · 2727 阅读 · 0 评论