![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop生态
yangwenxiaohaha
这个作者很懒,什么都没留下…
展开
-
spark-shell
现要求统计用户收藏数据中,每个用户收藏商品数量。1.在Linux上,创建/data/spark3/wordcount目录,用于存储实验所需的数据。view plain copymkdir -p /data/spark3/wordcount切换目录到/data/spark3/wordcount下,并从http://192.168.1.100:60000/allfiles/spark3/wor...原创 2019-11-06 15:28:37 · 531 阅读 · 0 评论 -
spark
任务步骤1.Spark的运行依赖jdk,Hadoop,Scala。在这里默认已安装jdk以及Hadoop伪分布模式。2.在Linux上,创建目录/data/spark2,用于存储spark安装所需的文件。view plain copymkdir -p /data/spark2切换目录到/data/spark2下,使用wget命令,下载所需的Spark的安装包spark-1.6.0-bin...原创 2019-11-05 13:21:53 · 202 阅读 · 0 评论 -
CDH集群搭建
CDH集群搭建CDH背景CDH (Cloudera’s Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境。系统环境Master * 1:Slave 2:Cloudera Manager:5.12.1CDH: 5.12....原创 2019-10-23 11:15:33 · 287 阅读 · 0 评论