大数据
别信我在说谎
Java开发
展开
-
Hadoop实战之MapReduce_02(idea远程提交MapReduce任务)
文章目录python运行简单的 MapReduce之 word countjava运行之idea远程提交任务到hadoop集群java 项目远程提交方式demo的github地址python运行简单的 MapReduce之 word count这里python运行就直接在虚机上编写脚本运行测试准备一份文档 word.txt 任意内容a b c d e ab ab ab abb ac kk kk 1232233243434331231111准备执行脚本(类似于 java中原创 2020-05-15 23:19:39 · 670 阅读 · 1 评论 -
Hadoop实战之MapReduce_01
什么是MapReduceMapReduce是一个用于处理海量数据的分布式计算框架,这个框架解决了数据分布式存储(数据存在HDFS上)作业调度机器间通信容错MapReduce使用分治方式(分解,求解,合并),通过Map切分,Reduce合并进行数据处理,如图理解上面这幅图非常重要,普遍情况下,大部分开发人员进行MapReduce开发任务时,只需要关注灰色部分。运行MapReduce程序时,首先将需要处理的数据上传至HDFS,通过HDFS交给InputForMat进行切分,通原创 2020-05-15 23:14:05 · 158 阅读 · 0 评论 -
大数据学习第一章 linux环境的安装配置
大数据学习之Linux系统的安装配置原创 2017-11-29 15:46:18 · 558 阅读 · 0 评论 -
大数据学习第二章 hadoop集群的部署
大数据第二章 hadoop集群部署原创 2017-11-29 15:51:42 · 993 阅读 · 0 评论 -
linux基本操作 1
linux 常见命令 ctrl + d 键盘输入结束或者退出终端 ctrl + s 暂定当前程序,按任意键恢复 ctrl + z 将当前程序放入后台执行 fg 恢复放入后台的程序到前台 ctrl + a 到当前行首,相当于home ctrl + e 到当前行尾,相当于end ctrl + k 删除从光标尾到行末原创 2017-12-15 16:08:17 · 215 阅读 · 0 评论