Hadoop
文章平均质量分 81
艾叔
这个作者很懒,什么都没留下…
展开
-
1.7 如何理解Scala的函数式编程
本文来自艾叔编著的《零基础快速入门Scala》免费电子书,添加文末艾叔微信,获取完整版的PDF电子书1.7 如何理解Scala的函数式编程谈到Scala,必然会提到Scala支持函数式编程。那么到底什么是函数式编程?它是从哪来的?它有什么特点和好处呢?如果从理论上去深究,可能一本书的篇幅都不够,关键是,看完之后,还是不知所云。我们下面从一个例子出发,对Scala的函数式编程做一个说明。1.7.1 函数式编程例子假设有1个int数组numList,要求得到一个新数组newNum..转载 2021-09-30 11:14:43 · 196 阅读 · 0 评论 -
1.6 Scala代码风格
本文来自艾叔编著的《零基础快速入门Scala》免费电子书,添加文末艾叔微信,获取完整版的PDF电子书1.6 Scala代码风格每种语言都有自己的代码风格或规范,Scala也不例外,规范编码是一种专业的表现,也是一种基本素养。下面列出了Scala最基本的编码规范:1)Class/object的命名规则:1. 首字母大写;2. 尽量用英文,取有含义的英文;3. 如果名字由多个单词组成,单词间用大写字母分隔。例如HelloWorld是一个object名字,首字母H大写,HelloWorld是有含义.原创 2021-09-30 11:12:10 · 151 阅读 · 0 评论 -
第1章 认识Scala程序
本文来自艾叔编著的《零基础快速入门Scala》免费电子书,添加文末艾叔微信,获取完整版的PDF电子书第1章 认识Scala程序本章从宏观的角度介绍Scala代码,让大家能够对Scala程序建立一个初步印象。本章以HelloWorld为例,介绍Scala代码的基本架构,同时对Scala的语法特性做一说明。1.1 Scala语言简介Scala是一种特性丰富、功能强大的编程语言,具体描述如下: Scala结合了面向对象和函数式编程的特性; Scala是强类型(Strong Typ...原创 2021-09-30 11:06:59 · 160 阅读 · 0 评论 -
hadoop-3.0.0-beta1运维手册(002):安装Guest操作系统
2.1 什么是Guest操作系统Guest指虚拟机,安装Guest操作系统,就是在我们刚才定制的虚拟机nn1上安装操作系统。我们要安装的操作系统是Linux,它有很多发行版,在这里我们选择Centos系列,它主要用作服务器操作系统,非常稳定,在生产环境中应用广泛。具体版本是Centos 7,64位,下载地址为:CentOS-7-x86_64-Everything-1511。整个光盘有7原创 2017-11-28 09:08:43 · 525 阅读 · 0 评论 -
hadoop-3.0.0-beta1运维手册(011):HDFS Erasure Coding纠删码使用
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是hdfs3.0.0系列,和hdfs2.x相比,增加了基原创 2017-12-06 20:08:27 · 5076 阅读 · 3 评论 -
hadoop-3.0.0-beta1运维手册(010):hdfs3.0.0动态添加节点(2)
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是hdfs3.0.0系列,和hdfs2.x相比,增加了基原创 2017-12-06 20:07:03 · 362 阅读 · 0 评论 -
hadoop-3.0.0-beta1运维手册(009):hdfs3.0.0动态添加节点(1)
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是hdfs3.0.0系列,和hdfs2.x相比,增加了基原创 2017-12-06 20:06:33 · 541 阅读 · 0 评论 -
hadoop-3.0.0-beta1运维手册(008):hdfs3.0.0基本操作-查看HDFS文件系统、查看文本文件、使用帮助
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是hdfs3.0.0系列,和hdfs2.x相比,增加了基原创 2017-12-06 20:05:28 · 840 阅读 · 0 评论 -
hadoop-3.0.0-beta1运维手册(007):hdfs3.0.0基本操作-上传、下载、删除文件或目录
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是hdfs3.0.0系列,和hdfs2.x相比,增加了基原创 2017-12-06 20:04:24 · 658 阅读 · 0 评论 -
hadoop-3.0.0-beta1运维手册(006):hdfs3.0.0分布式构建-启动hdfs
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是hdfs3.0.0系列,和hdfs2.x相比,增加了基原创 2017-12-04 13:02:49 · 994 阅读 · 0 评论 -
hadoop-3.0.0-beta1运维手册(005):hdfs3.0.0分布式构建-hdfs配置、无密码登录
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是hdfs3.0.0系列,和hdfs2.x相比,增加了基原创 2017-12-04 13:00:53 · 470 阅读 · 0 评论 -
hadoop-3.0.0-beta1运维手册(004):安装分布式hdfs3.0.0-配置JDK、设置主机名
3.4 配置JDK1. 解压注意:我们所指的路径是/home/user解压的命令是:tar xf jdk-8u152-linux-x64.tar.gz解压后,ls,可以看到蓝色的目录:jdk1.8.0_1523-33 jdk解压目录2. 添加JDK相关的环境变量切换到root用户3-34 su命令切换编辑/etc/profile文件 3-35原创 2017-11-30 21:21:41 · 338 阅读 · 0 评论 -
hadoop-3.0.0-beta1运维手册(003):安装全分布式HDFS3.0.0-准备软件和配置CentOS网络
3.1 准备软件HDFS是Hadoop的一个组件,它并没有单独发布,因此,我们需要下载Hadoop的安装包。1. 下载Hadoop3.0.0-beta1,保存到d:\hdfs3\soft3-1 Hadoop存储路径图有关beta1版本的介绍:它是API稳定的版本,但不保证质量,并且不打算用于生产环境。因此,此版本可以用来提前学习,待stable版本出来后,可以直接替换上生产环境原创 2017-11-29 17:10:25 · 782 阅读 · 0 评论