![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 76
慢生活家
心理学、经济学双学士,计算机非科班出身;懂得代码之美;热衷钻研数据仓库、Hadoop大数据方向;每天进步一点点,努力成为大牛。
展开
-
Hadoop 架构演变
带有 MapReduce 的 Apache Hadoop 是分布式数据处理的骨干力量。借助其独特的横向扩展物理集群架构和由 Google 最初开发的精细处理框架,Hadoop 在大数据处理的全新领域迎来了爆炸式增长。Hadoop 还开发了一个丰富多样的应用程序生态系统,包括 Apache Pig(一种强大的脚本语言)和 Apache Hive(一个具有类似 SQL 界面的数据仓库解决方案)原创 2014-10-23 12:12:38 · 504 阅读 · 0 评论 -
hadoop实验:求气象数据的最低温度
1.下载部分数据,因为实验就只下载2003年的部分气象数据2.通过zcat *gz > sample.txt命令解压重定向[hadoop@Master test_data]$ zcat *gz > /home/hadoop/input/sample.txt3.查看数据格式4.把文件sample.txt放进hdfs文件系统里[hadoop@Master input]$ h原创 2014-11-05 21:28:46 · 1970 阅读 · 1 评论 -
Hadoop实验:用java直接使用FileSystem以标准输出格式显示Hadoop文件系统中的文件
《Haoop权威指南》实验3.21.设置Hadoop的类目录,hadoop-env.sh[hadoop@Master conf]$ cd /usr/hadoop/conf[hadoop@Master conf]$ vim hadoop-env.sh增加 export HADOOP_CLASSPATH=/usr/hadoop/myclass原创 2014-11-01 11:42:17 · 633 阅读 · 0 评论 -
Hadoop实验:按规则读取本地文件写入HDFS文件系统
1.本地文件 import java.io.InputStream; import java.io.OutputStream; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import or原创 2014-11-01 22:30:44 · 1384 阅读 · 0 评论 -
Hadoop实验:wordcount
[hadoop@Master ~]$ hadoop fs -mkdir in[hadoop@Master ~]$ hadoop fs -mkdir on原创 2014-10-28 21:12:58 · 611 阅读 · 0 评论 -
Hadoop实验:按规则读取HDFS文件系统写入到本地
题目:在HDFS中生成一个大约100字节的文本文件,写一段程序(可以利用Java API或C API),读入这个文件,并将其第101-120字节的内容写入本地文件系统成为一个新文件1.原创 2014-11-01 22:57:50 · 1347 阅读 · 0 评论 -
Hadoop实验:用java把hdfs系统里的文件内容读取出来,显示到屏幕
《Haoop权威指南》原创 2014-10-28 21:47:48 · 4285 阅读 · 1 评论 -
端口被其他进程占用导致hadoop namenode,datanode,jobTracker,taskTracker,secondnamenode无法启动
[hadoop@Master bin]$ netstat -tunlp | grep java(Not all processes could be identified, non-owned process info will not be shown, you would have to be root to see it all.)tcp 0 0 :::原创 2014-10-28 16:10:43 · 605 阅读 · 0 评论 -
Hadoop生态上几个技术的关系与区别:hive、pig、hbase 关系与区别
初接触Hadoop技术的朋友肯定会对它体系下寄生的个个开源项目糊涂了,我敢保证Hive,Pig,HBase这些开源技术会把你搞的有些糊涂,不要紧糊涂的不止你一个,如某个菜鸟的帖子的疑问,when to use Hbase and when to use Hive?....请教了^_^没关系这里我帮大家理清每个技术的原理和思路。Pig一种操作hadoop的轻量级脚本语言,最初又雅虎公转载 2014-10-27 09:20:16 · 442 阅读 · 0 评论 -
怎么改变HDFS块大小
1.上传test1.txt[hadoop@Master hadoop]$ hadoop fs -put /home/hadoop/input/test1.txt /usr/hadoop/inWarning: $HADOOP_HOME is deprecated.2.查看上传的文件大小[hadoop@Master hadoop]$ hadoop fs -stat "%o"原创 2014-10-26 12:06:58 · 3308 阅读 · 1 评论 -
Hadoop集群实施成功后,再次格式化名称节点,datanode如何加入集群
1.停止Hadoop集群[hadoop@Master name]$ cd /usr/hadoop/bin/[hadoop@Master bin]$ stop-all.shWarning: $HADOOP_HOME is deprecated.stopping jobtracker192.168.150.3: stopping tasktracker192.168.150原创 2014-10-26 17:12:16 · 987 阅读 · 0 评论 -
MapReduce编程模型:用MapReduce进行大数据分析
说明:通过本文对MapReduce编程模型循序渐进的说明,你可以对MapReduce工作机制有一个总体上的很好的把握,是来自IBM developerWorks的一篇非常好的文章(转载)!Google 在 2001 年发布图像搜索功能时,只有 2.5 亿索引图像,不到 10 年,这个巨大的搜索功能已经可以检索超过 100 亿个图像了,每分钟有 35 小时的内容上传到 YouTube。据转载 2014-11-06 14:06:40 · 1375 阅读 · 0 评论