![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
jaywangpku
专注于后台开发,对数据库,文件系统,云存储,分布式图计算框架与信息学竞赛亦感兴趣。
展开
-
Hadoop伪分布式环境配置
Hadoop伪分布式环境配置JDK配置JDK版本为jdk1.8.01、下载jdk1.8.0.tar.gz文件,并解压文件至/usr/java下tar –zxvf jdk-1.8.0.tar.gz –C /usr/java2、对系统环境变量进行配置,编辑器采用sublime文本编辑器subl /etc/profile3、对配置文件进行修改,在文件的尾端加入以下代码4、执行命令,...原创 2018-12-23 22:00:37 · 438 阅读 · 0 评论 -
Hadoop Streaming框架
Hadoop Streaming框架Hadoop Streaming是Hadoop提供的一个编程工具,它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer。mapper和reducer会从标准输入中读取用户数据,一行一行处理后发送给标准输出。Streaming工具会创建MapReduce作业,发送给各个task tracker,同时监控整个作业的执行过程。作业脚本/us...原创 2018-12-24 22:07:09 · 208 阅读 · 0 评论 -
hadoop fs 操作指南
挺全面的一个整理https://download.csdn.net/download/u013095333/11069738原创 2019-03-28 17:59:56 · 538 阅读 · 0 评论 -
kafka数据处理框架
kafka数据处理框架kafka框架:https://blog.csdn.net/weixin_40596016/article/details/79164680kafka高吞吐量分布式的消息发布和订阅系统,提供一个分布式的,可划分的,冗余备份的持久性的日志服务。主要用于处理活跃的流式数据。在大数据系统中,经常碰到一个问题,整个大数据是由各个子系统组成,且数据需要在各个子系统中高性能,低延...原创 2019-04-19 15:41:38 · 885 阅读 · 0 评论