hadoop
彭世瑜
记录我的工作学习笔记
展开
-
Windows平台Hadoop环境安装配置
下载3个所需软件JDK安装与环境变量配置下载hadoop,建议使用国内源下载 ,比如:清华大学源下载hadooponwindows-master.zip【**能支持在windows运行hadoop的工具】安装配置这篇文章写的比较好,简单几步就配置成功了Windows平台安装配置Hadoop问题解决WIN7下解压文件提示:可能需要以管理身份运行?破解补丁激活WinRAR...原创 2018-11-18 18:40:11 · 1209 阅读 · 0 评论 -
Java: Hadoop文件系统的读写操作
所需jar包路径:hadoop-2.8.5/share/hadoop/commonhadoop-2.8.5/share/hadoop/common/binhadoop-2.8.5/share/hadoop/hdfshadoop-2.8.5/share/hadoop/hdfs/binjava代码实例import org.apache.hadoop.conf.Configuration...原创 2018-11-24 00:04:32 · 1844 阅读 · 0 评论 -
java:MapReduce原理及入门实例:wordcount
MapReduce原理MapperTask -> Shuffle(分区排序分组) -> ReducerTaskMapReduce执行步骤Map处理任务读取文件每一行,解析成<key、value>,调用map函数处理逻辑对key、value处理,行成新的key、value数据分区Reduce处理任务拷贝map任务输出到reduce节点,对map任务...原创 2018-11-26 00:14:18 · 1372 阅读 · 0 评论 -
通过sqoop将mysql数据导入到hive中进行计算示例
hive计算示例先将数据通过sqoop从mysql导入hive,在hive执行mysql的查询语句,得到与mysql一样的执行结果步骤:mysql数据准备account账号表detail收支数据表CREATE TABLE `account` ( `id` int(11) PRIMARY KEY AUTO_INCREMENT, `account` varchar(20),...原创 2018-12-05 23:44:42 · 1299 阅读 · 0 评论 -
Mac环境下安装hadoop
配置ssh免密登录mac下开启远程登录系统偏好设置 -> 共享 -> 远程登录授权免密登录# 生成秘钥(如果没有)ssh-keygen -t rsa -P ''# 授权免密登录cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys# 免密登录ssh lcoalhost安装hadoopbrew instal...原创 2019-03-24 21:55:53 · 1586 阅读 · 0 评论