linux
叶子不落
这个作者很懒,什么都没留下…
展开
-
elasticsearch语法简介
版权声明:本文为CSDN博主「Clozzz」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。原文链接:https://blog.csdn.net/Clozzz/article/details/106479807转载 2020-07-17 15:36:19 · 221 阅读 · 0 评论 -
scala语言入门-安装及语言简介
一、scala简介和环境的搭建scala简介scala是一门小众语言,和java是兼容、互通的,可以在java虚拟机上执行程序代码,设计初衷是实现可伸缩的语言、并集成面向对象编程和函数式编程的各种特性。scala这个语言特色就是特别的飘逸,属于多范式编程,既是面向对象编程语言,又结合了命令式编程和函数式编程风格。在spark中采用了scala语言设计,提供更优雅的API设计,并且基于JVM(java虚拟机)的语言更容易融入Hadoop生态圈。 环境安装要求:先安装jdk,和java互通兼容,要原创 2020-07-09 14:45:10 · 203 阅读 · 0 评论 -
MapReduce详细流程介绍(图文并茂)
详解:整个数据处理流程分为map task 和reduce task 两部分,map task负责map阶段的数据处理,reduce task负责reduce阶段的数据处理。map task 读文件的时候通过InputFormat中将文本进行切片,再通过RecordReader中的read方法将文件内容读取,返回键值对,key是文本的行号,value是对应的该行的值,然后我们使用Mapper中的map方法对键值对进行处理形成新的键值对,每个键值对都会调用一次map方法。然后通过context的wr.原创 2020-06-10 23:10:40 · 628 阅读 · 0 评论 -
基于Hadoop的数据仓库解决方案-Hive简介
1、什么是Hive?Hive简单用一句话概括就是基于Hadoop的数据仓库解决方案,它始于2007年的FaceBook,官方网站是hive.apache.org。Hive的作用主要是作为一种数据仓库用来存储数据,它可以将结构化的数据文件映射为数据库表,提供类sql的查询语言HQL(Hive Query Language),虽然Hive基于Hadoop生态环境,但是Hive的强大也让更多的人使用起了Hadoop。在这里我要重点提一个地方,什么是数据仓库,和数据库只有一字之差,它们之间有啥区别呢?数据库原创 2020-06-10 22:54:36 · 391 阅读 · 0 评论 -
基于Linux系统的HIVE安装
在安装HIVE之前需要在Linux上安装好mysql、hadoop和zookeeper。在这里我介绍一下zookeeper和hive的安装。zookee安装没有安装包的可以评论私发你,或者自己去网上找安装包。1、下载安装包通过xftp将安装包放到Linux中的opt文件夹中。2、安装包解压tar -zxf /opt/zookeeper-3.4.5-cdh5.14.2.tar.gz3、将解压文件放到opt下的soft文件夹中,我把我的软件基本都放在了这个文件夹,你们随意。mv zookeepe原创 2020-06-09 20:15:55 · 321 阅读 · 0 评论 -
基于Linux系统的hadoop安装教程
1、hadoop安装包下载:直接百度搜索hadoop进入官网选择自己想要的版本下载即可。2、将hadoop安装包通过xftp拉到自己创建的虚拟机中,我是放在了opt文件夹中,并且在opt文件夹下建了一个soft文件夹,将解压后的hadoop放到soft文件夹中,便于以后使用,在这里我是将解压包放到soft下并且改名为hadoop260。tar -zxf hadoop安装包mv /opt/hadoop解压包 /opt/soft/hadoop2603、修改hadoop的配置文件(1)先进入hado原创 2020-06-09 15:26:16 · 372 阅读 · 0 评论