大数据
木生火18624
多练内功
展开
-
大数据的学习路程
原创 2019-01-14 08:23:12 · 128 阅读 · 0 评论 -
Hadoop3.0 安装配置
1. 官网下载 wget http://apache.fayea.com/Hadoop/common/hadoop-3.0.0-alpha1/hadoop-3.0.0-alpha1.tar.gz2. 解压 tar -zxvf hadoop-3.0.0-alpha1.tar.gzln -s hadoop-3.0.0-alpha1 hadoop33. 环境变量...转载 2019-01-17 09:02:36 · 296 阅读 · 0 评论 -
CentOS7-64bit 编译 Hadoop-2.7.4,并伪分布式安装
1.安装环境说明本机操作系统macOS Sierra 10.12.6 采用的虚拟机VirtualBox 5.1.28 虚拟机镜像CentOS 7 64bit2.为什么要编译因为我们从官方下载的Hadoop安装压缩包(hadoop-2.7.4.tar.gz)是32位系统下的,如果我们将它部署在64位的系统上运行就会报错,所以我们最好在自己的64位系统上自己重新编译Hadoop源码(ha...转载 2019-01-17 09:05:10 · 182 阅读 · 0 评论 -
Apache Hadoop
各版本说明:http://hadoop.apache.org/releases.html 下载稳定版:找到一个镜像,下载stable文件夹下的版本 Hadoop最全版本:http://svn.apache.org/repos/asf/hadoop/common/branches/,可直接导到eclipse中CDH版本下载 CDH3: http...原创 2019-01-17 09:30:20 · 111 阅读 · 0 评论 -
hadoop官网介绍及如何下载hadoop(2.4)各个版本与查看hadoop API介绍
问题导读:1.如何访问hadoop官网?2.如何下载hadoop各个版本?3.如何查看hadoop API?很多同学开发都没有二手资料,原因很简单觉得不会英语,但是其实作为软件行业,多多少少大家会英语的,但是就是不善长,这是很多人面对的问题。英语的不善长,造成我们获取知识慢,很多问题都需要向别人请教。这里交给大家该如何从我们已有的资源中查找API.首先我们登录官网:http://hadoop.ap...转载 2019-01-17 09:40:11 · 1565 阅读 · 0 评论 -
大数据Pig汇总
大数据_Pig https://blog.csdn.net/weixin_37243717/article/details/79058555大数据学习——数据处理工具Pig入门使用https://blog.csdn.net/xundh/article/details/68061952Pig 常用操作https://blog.csdn.net/zythy/article/deta...原创 2019-01-16 10:54:15 · 687 阅读 · 0 评论 -
大数据经典学习路线
大数据经典学习路线(及供参考) 1.Linux基础和分布式集群技术学完此阶段可掌握的核心能力: 熟练使用Linux,熟练安装Linux上的软件,了解熟悉负载均衡、高可靠等集群相关概念,搭建互联网高并发、高可靠的服务架构; 学完此阶段可解决的现实问题: 搭建负载均衡、高可靠的服务器集群,可以增大网站的并发访问量,保证服务不间断地对外服务; 学完此阶段...转载 2019-01-14 12:35:28 · 230 阅读 · 0 评论 -
机器学习实战笔记(十六):大数据与MapReduce
最近在看《机器学习实战》一书,关于大数据与MapReduce这一章的内容,在网上看了一些不错的博客,在此记录下。[1] 机器学习实战】第15章 大数据与MapReduce[2] 机器学习笔记(Chapter 15 - MapReduce框架)...转载 2019-01-15 13:38:07 · 210 阅读 · 0 评论 -
大数据(五) - HBase
HBase是一个构建在HDFS上的分布式列存储系统,主要用于海量结构化数据存储,从逻辑上讲,HBase将数据按照表、行和列进行存储。HDFS适合批处理场景 不支持数据随机查找 不适合增量数据处理 不支持数据更新以上HDFS不适合、不支持的场景,HBase都支持 大数据上高并发操作,比如每秒对PB级数据进行上千次操作,并且读写访问均...转载 2019-01-15 14:50:00 · 163 阅读 · 0 评论 -
大数据(六) - ZooKeeper
Zookeeper是什么 是一个针对大型分布式系统的可靠协调系统; 提供的功能包括:配置维护、名字服务、分布式同步、组服务等; 目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户; Zookeeper已经成为Hadoop生态系统中的基础组件。Zookeeper特点 最终一致性...转载 2019-01-15 14:54:33 · 123 阅读 · 0 评论 -
大数据之---hadoop问题排查汇总终极篇---持续更新中
https://blog.csdn.net/ycwyong/article/details/80349006原创 2019-01-15 14:56:57 · 316 阅读 · 0 评论 -
史上最详细的Hadoop环境搭建
转于:https://blog.csdn.net/hliq5399/article/details/78193113鸣宇淳向作者提问目前就职于某知名互联网公司,从事大数据研发工作,正在编写《大数据技术·降龙十八掌》一书查看本场Chat前言Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,会决定在大数据技术道...转载 2019-01-16 09:16:40 · 308 阅读 · 0 评论 -
Hadoop集群搭建教程(详细)
https://blog.csdn.net/fanxin_i/article/details/80425461转载 2019-01-16 09:22:20 · 1747 阅读 · 0 评论 -
大数据(四) - MapReduce
MapReduce适合PB级以上海量数据的离线处理MapReduce不擅长什么 实时计算 像MySQL一样,在毫秒级或者秒级内返回结果 流式计算 MapReduce的输入数据集是静态的,不能动态变化 MapReduce自身的设计特点决定了数据源必须是静态的 ...转载 2019-01-15 14:44:36 · 238 阅读 · 0 评论 -
大数据(七) - Flume
转载请注明出处。 https://blog.csdn.net/matthewei6/article/details/50534563 flume[flu:...转载 2019-01-16 09:58:27 · 340 阅读 · 0 评论 -
大数据Hive汇总
大数据(十七)Hive【Hive介绍】https://blog.csdn.net/jintaohahahaha/article/details/77949646大数据之Hivehttps://blog.csdn.net/morexyoung/article/details/78916228大数据(九) - Hivehttps://blog.csdn.net/matthewei6...原创 2019-01-16 10:27:50 · 357 阅读 · 0 评论 -
大数据Sqoop汇总
大数据之Sqoop1、https://blog.csdn.net/morexyoung/article/details/789160712、https://blog.csdn.net/morexyoung/article/details/789161373、https://blog.csdn.net/morexyoung/article/details/78916154大数据系列之...原创 2019-01-16 10:36:24 · 186 阅读 · 0 评论