MapReduce
溪水流长
奇迹无时不刻都在发生
展开
-
mapreduce之wordcount(1024水宣章版)
wordcount原创 2020-10-24 23:05:21 · 78 阅读 · 0 评论 -
Kylin实践
此实践是在安装好kylin,并且成功进入http://IP:7070/kylin/login 界面之后的操作哦 登录Kylin 在hive测试加载数据(此实践数据存放在结尾) 准备测试数据 创建数据库、表、加载数据 create table dw_sales(id string,date1 string,channelId string, productId string, regionId string,amount int,price double)ROW FORMAT DELIMITED FIELD原创 2020-05-15 01:31:02 · 241 阅读 · 0 评论 -
Oozie永远滴神!!!
Oozie永远滴神!!! 什么是Oozie? (此博客图片来源于网络,侵删) 有那些模块? 运行环境和条件 部署Oozie 1.1 解压Oozie [root@hadoop102 software]$ tar -zxvf /opt/software/cdh/oozie-4.0.0-cdh5.3.6.tar.gz -C /opt/module 1.2...原创 2020-04-22 16:00:21 · 150 阅读 · 0 评论 -
大数据之Flume组件的使用
当前Flume有两个版本。Flume 0.9X版本的统称Flume OG(original generation),Flume1.X版本的统称Flume NG(next generation)。由于Flume NG经过核心组件、核心配置以及代码架构重构,与Flume OG有很大不同,使用时请注意区分。改动的另一原因是将Flume纳入 apache 旗下,Cloudera Flume 改名为 Apache Flume。原创 2019-12-05 10:44:03 · 1475 阅读 · 0 评论 -
MapReduce之WordCount字数统计
第一次WordCount小游戏 在idea客户端上面进行WordCount统计 1:创建mapper类继承mapper(选hadoop类型) public class wordcountMapper extends Mapper<LongWritable, Text,Text, IntWritable> { //LongWritable(表示mapper输入数据的key每一行数据的编号...原创 2019-11-12 11:03:04 · 2260 阅读 · 0 评论