- 博客(4)
- 收藏
- 关注
原创 使用scala编写简单的wordcount案例
对新手来说,scala里面的简化代码还不熟悉,所以我先附上一个详细的写法:如果对scala比较熟悉,可以直接简化成如下:
2019-04-16 20:35:45 508
转载 举例详解MapReduce过程
首先,我们来了解一下MapReduce中的必知概念客户端(Client):编写mapreduce程序,配置作业,提交作业,这就是程序员完成的工作;1.JobTracker: JobTracker是一个后台服务进程,启动之后,会一直监听并接收来自各个 TaskTracker发送的心跳信息,包括资源使用情况和任务运行情况等信息。作业控制:在hadoop中每个应用程序被表示成...
2019-04-11 20:11:15 750
转载 hive的简介
首先我们要知道hive到底是做什么的。下面这几段文字很好的描述了hive的特性:1.hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。...
2019-04-10 19:36:11 184
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人