![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 62
jinyonglu168
海阔凭鱼跃天高任鸟飞
展开
-
hadoop2.2运行wordcount例子
转载请注明出处:[url]http://kevin12.iteye.com/blog/2028776[/url] hadoop2.2环境搭建好后可以运行wordcount例子来查看一个文件中的单词数量,废话不多说,看下面的步骤: 首先在/usr/local/hadoop/下创建一个目录,是为了存放我们的测试文件,目录名称为myfile,在进入myfile中创建一个名称为wordcount.tx...2014-03-10 11:46:46 · 127 阅读 · 0 评论 -
Hadoop Shuffle(洗牌)过程
博客来源:[url]http://www.wnt.com.cn/html/news/tophome/top_xytd/top_xytd_jswz/bbs_service/20130711/111140562.html[/url]感谢该博客作者的讲解,同时也记录下来以后学习。 [b] Hadoop计算中的Shuffle过程[/b] Shuffle 过程是MapReduce的核心,也被称为奇迹发...原创 2014-03-25 14:26:21 · 356 阅读 · 0 评论 -
Spark SQL操作Hive数据库
本次例子通过scala编程实现Spark SQL操作Hive数据库! Hadoop集群搭建:[url]http://kevin12.iteye.com/blog/2273532[/url] Spark集群搭建:[url]http://kevin12.iteye.com/blog/2273532[/url] [b]数据准备[/b] 在/usr/local/sparkApps/SparkS...原创 2016-04-13 22:37:39 · 1594 阅读 · 0 评论 -
Spark Streaming 统计单词的例子
测试Spark Streaming 统计单词的例子 [b]1.准备[/b] 事先在hdfs上创建两个目录: 保存上传数据的目录:hdfs://master1:9000/library/SparkStreaming/data checkpoint的目录:hdfs://master1:9000/library/SparkStreaming/CheckPoint_data [b]2.源...原创 2016-06-19 12:29:38 · 407 阅读 · 0 评论 -
hadoop2.6.0集群的搭建方法
[b]1.集群环境的安装[/b] 1.1工具软件版本说明(软件尽量去官网下载): VMware Workstation :10.0.0 build-1295980 Ubuntn:Ubuntn15.10 JDK:jdk-8u60-linux-x64.tar.gz Hadoop:hadoop-2.6.0.tar.gz SecureCRT:Version 6.2.3 (build 313)...原创 2016-01-23 22:37:09 · 1147 阅读 · 0 评论 -
eclipse开发hadoop环境搭建
[b]Hadoop2.6.0集群搭建完毕后,下面介绍一下eclipse是如何开发hadoop程序(即MapReduce程序)的。[/b] 1.jdk安装hadoop集群的搭建,不再详述,参考[url]http://kevin12.iteye.com/blog/2273556[/url]; 下面运行下hadoop自带的wordcount例子: 2.先将hadoop-2.6.0目录下面的READ...原创 2016-02-13 14:54:26 · 244 阅读 · 0 评论 -
Spark SQL on hive配置和实战
spark sql 官网:[url]http://spark.apache.org/docs/latest/sql-programming-guide.html#starting-point-sqlcontext[/url] 首先要配置好hive,保存元数据到mysql中,参考:[url]http://kevin12.iteye.com/blog/2280777[/url] 然后配置S...原创 2016-03-26 18:40:52 · 450 阅读 · 0 评论