彭世瑜的博客

记录我的code历程 个人主页:www.pengshiyu.com

通过sqoop将mysql数据导入到hive中进行计算示例

hive计算示例 先将数据通过sqoop从mysql导入hive,在hive执行mysql的查询语句,得到与mysql一样的执行结果 步骤: mysql数据准备 account账号表 detail收支数据表 CREATE TABLE `account` ( `id` int(11) P...

2018-12-05 23:44:42

阅读数:17

评论数:0

java:MapReduce原理及入门实例:wordcount

MapReduce原理 MapperTask -> Shuffle(分区排序分组) -> ReducerTask MapReduce执行步骤 Map处理任务 读取文件每一行,解析成&l...

2018-11-26 00:14:18

阅读数:18

评论数:0

Java: Hadoop文件系统的读写操作

所需jar包路径: hadoop-2.8.5/share/hadoop/common hadoop-2.8.5/share/hadoop/common/bin hadoop-2.8.5/share/hadoop/hdfs hadoop-2.8.5/share/hadoop/hdfs/bin j...

2018-11-24 00:04:32

阅读数:42

评论数:0

Windows平台Hadoop环境安装配置

下载3个所需软件 JDK安装与环境变量配置 下载hadoop,建议使用国内源下载 ,比如:清华大学源 下载hadooponwindows-master.zip【**能支持在windows运行hadoop的工具】 安装配置 这篇文章写的比较好,简单几步就配置成功了 Windows平台安装配置Ha...

2018-11-18 18:40:11

阅读数:54

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭