hadoop
虚无境
这个作者很懒,什么都没留下…
展开
-
零基础学习Hadoop
原文:http://www.aboutyun.com/thread-6780-1-1.html 零基础学习hadoop,没有想象的那么困难,也没有想象的那么容易。在刚接触云计算,曾经想过培训,但是培训机构的选择就让我很纠结。所以索性就自己学习了。整个过程整理一下,给大家参考,欢迎讨论,共同学习。从一开始什么都不懂,到能够搭建集群,开发。整个过程,只要有Linux基础,虚拟机化和ja转载 2017-11-06 19:23:21 · 4013 阅读 · 0 评论 -
大数据初学者应该知道的知识
原文:http://lxw1234.com/archives/2016/11/779.htm 导读:第一章:初识Hadoop第二章:更高效的WordCount第三章:把别处的数据搞到Hadoop上第四章:把Hadoop上的数据搞到别处去第五章:快一点吧,我的SQL第六章:一夫多妻制第七章:越来越多的分析任务第八章:我的数据要实时第九章:我的数据要对外第十章:牛逼高大上的机器学习转载 2017-11-13 13:35:40 · 805 阅读 · 0 评论 -
Hadoop介绍和环境配置
原文:http://www.cnblogs.com/edisonchou/一、Hadoop的发展历史 说到Hadoop的起源,不得不说到一个传奇的IT公司—全球IT技术的引领者Google。Google(自称)为云计算概念的提出者,在自身多年的搜索引擎业务中构建了突破性的GFS(Google File System),从此文件系统进入分布式时代。除此之外,Google在GFS上如何快速分析和处理数转载 2017-11-04 15:59:10 · 2049 阅读 · 0 评论 -
大数据学习系列之六 ----- Hadoop+Spark环境搭建
引言在上一篇中 大数据学习系列之五 —– Hive整合HBase图文详解 : http://www.panchengming.com/2017/12/18/pancm62/ 中使用Hive整合HBase,并且测试成功了。在之前的大数据学习系列之一 —– Hadoop环境搭建(单机) : http://www.panchengming.com/2017/11/26/pancm55/ 中成功的搭建了H原创 2017-12-19 19:13:05 · 5842 阅读 · 1 评论 -
大数据学习系列之一 ----- Hadoop环境搭建(单机)
一、环境选择1,服务器选择阿里云服务器:入门型(按量付费) 操作系统:linux CentOS 6.8 Cpu:1核 内存:1G 硬盘:40G ip:39.108.77.250 2,配置选择JDK:1.8 (jdk-8u144-linux-x64.tar.gz) Hadoop:2.8.2 (hadoop-2.8.2.tar.gz)3,下载地址官网地址: JDK:原创 2017-11-26 16:18:38 · 19853 阅读 · 13 评论 -
大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机)
在[大数据学习系列之一 ----- Hadoop环境搭建(单机)](http://blog.csdn.net/qazwsxpcm/article/details/78637874) 成功的搭建了Hadoop的环境,在[大数据学习系列之二 ----- HBase环境搭建(单机)](http://blog.csdn.net/qazwsxpcm/article/details/78760055)成功搭建了HBase的环境以原创 2017-12-16 09:32:36 · 3926 阅读 · 0 评论 -
大数据学习系列之五 ----- Hive整合HBase图文详解
引言在上一篇 大数据学习系列之四 —– Hadoop+Hive环境搭建图文详解(单机) 和之前的大数据学习系列之二 —– HBase环境搭建(单机) 中成功搭建了Hive和HBase的环境,并进行了相应的测试。本文主要讲的是如何将Hive和HBase进行整合。Hive和HBase的通信意图Hive与HBase整合的实现是利用两者本身对外的API接口互相通信来完成的,其具体工作交由Hive的lib目原创 2017-12-18 18:47:41 · 1861 阅读 · 0 评论 -
大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解
引言 在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试。其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式。至于为什么先写单机的搭建,是因为作为个人学习的话,单机已足以,好吧,说实话是自己的电脑不行,使用虚拟机实在太卡了。。。 整个的集群搭建是在公司的测试服务搭建的,在搭建的时候遇到各种各样的坑,当然也收获颇原创 2017-12-30 15:48:03 · 22533 阅读 · 13 评论 -
大数据学习系列之八----- Hadoop、Spark、HBase、Hive搭建环境遇到的错误以及解决方法
前言在搭建大数据Hadoop相关的环境时候,遇到很多了很多错误。我是个喜欢做笔记的人,这些错误基本都记载,并且将解决办法也写上了。因此写成博客,希望能够帮助那些搭建大数据环境的人解决问题。说明: 遇到的问题以及相应的解决办法是对于个人当时的环境,具体因人而异。如果碰到同样的问题,本博客的方法无法解决您的问题,请先检查环境配置问题。Hadoop伪分布式相关的问题1,FATAL con原创 2018-01-07 19:47:24 · 3824 阅读 · 0 评论