- 博客(4)
- 收藏
- 关注
RSS订阅原创 使用scala编写简单的wordcount案例
对新手来说，scala里面的简化代码还不熟悉，所以我先附上一个详细的写法： 如果对scala比较熟悉，可以直接简化成如下：
2019-04-16 20:35:45
504
转载 举例详解MapReduce过程
首先，我们来了解一下MapReduce中的必知概念 客户端（Client）：编写mapreduce程序，配置作业，提交作业，这就是程序员完成的工作； 1.JobTracker： JobTracker是一个后台服务进程，启动之后，会一直监听并接收来自各个 TaskTracker发送的心跳信息，包括资源使用情况和任务运行情况等信息。 作业控制：在hadoop中每个应用程序被表示成...
2019-04-11 20:11:15
726
转载 hive的简介
首先我们要知道hive到底是做什么的。下面这几段文字很好的描述了hive的特性： 1.hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。...
2019-04-10 19:36:11
158
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人