大数据
韩冬_Yeah
这个作者很懒,什么都没留下…
展开
-
Cloudera Manager&DCH
今天在做关于Hadoop方面的题时碰到一个叫 Cloudera和DCH 的东西之前看书的时候没遇到过,然后就去网上找了一下找到了下面的定义 由于Hadoop深受客户欢迎,许多公司都推出了各自版本的Hadoop,也有一些公司则围绕Hadoop开发产品。在Hadoop生态系统中,规模最大、知名度最高的公司则是Cloudera好吧,这只是公司的名字,但好像在题目里并没有实际...原创 2018-04-17 15:18:12 · 358 阅读 · 0 评论 -
linux下的文件配置
原文链接:linux下的文件配置 https://www.cnblogs.com/Joans/p/7760378.html今天在独自配置hadoop伪分布式的时候突然想到自己一直把环境配置到 /etc/enivrment下 但是看别人配置的jdk 和hadoop都是将环境变量配置在profile目录下,所以就在思考环境变量配置到这两个位置的不同之处。正文什么是环境变...转载 2018-04-11 21:38:24 · 243 阅读 · 0 评论 -
hadoop之slaves文件详细分析
hadoop之saves文件详细分析(一) 注:所有操作基于hadopp-2.7.5,本篇文章主要涉及一些对于slaves文件之于hadoop平台的思考首先大家都知道,要想配置一个完全分布式平台,首先要配置 - core.site.xml - hdfs.site.xml - mapreduce.site.xml - yarm...原创 2018-04-14 10:09:49 · 22652 阅读 · 10 评论 -
hadoop平台搭建之伪分布式配置
前言:这次是继上次Ubuntu安装之后又为大家带来的在ubuntu桌面版环境下hadoop伪分布式配置。这里又我上篇Ubuntu安装的详细步骤:传送门需要解释一下的是:hadoop并没有详细区分分布式与伪分布式,所谓伪分布式就是在一台机器上搭建的hadoop平台,而hadoop集群则需要至少三台机器,伪分布式在现实开发环境中是没有意义的,所以这里只是作为学习来进行研究,后面我会写完全分布式的搭建方...原创 2018-04-19 18:32:16 · 756 阅读 · 0 评论 -
hadoop平台事件同步
ntpdate命令: ntpdate -u 210.72.145.44 :网络时间同步命令 我这边采用和集群中的某一台机器做时间同步 [root@had]# ntpdate -u had May 3 03:20:23 ntpdate[4454]: step time server 192.168.18.160 offset 154.003952 sec [root@had]# date Thu...原创 2018-05-02 20:22:26 · 188 阅读 · 0 评论 -
hadoop-streaming编程解析
原文连接:http://dongxicheng.org/mapreduce/hadoop-streaming-programming/1、概述Hadoop Streaming是Hadoop提供的一个编程工具,它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer,例如:采用shell脚本语言中的一些命令作为mapper和reducer(cat作为mapper,wc作为reduce...转载 2018-04-21 19:45:44 · 197 阅读 · 0 评论