weixin_48678554-CSDN博客

原创 Scala特质简介

从面向对象来看，接口并不属于面线对象的范畴，Scala是纯面向对象的语言，所以Scala中没有接口。为了弥补没有接口的缺点，开发者提出了trait 特质的概念。1、trait的声明trait 特质名 {trait 体}（trait 命名一般首字母大写）2、一个类具有某种特质时，可以使用extends 关键字，如存在多个特质，那么必须使用with 关键字连接，例如：1）没有父类class 类名 extends 特质1 with 特质2 with 特质 3 …2）有父类class

2020-07-30 16:11:46 144

原创 Scala集合的几个基础操作

高阶函数的一点基础：一般是函数中套用函数案例：// 定义了一个test 的高阶函数//说明：f:Double => Double 表示一个函数f，该函数可以接受一个 Double，//返回一个Double// n1:Double 表示一个普通参数// f(n1) 表示在 test 函数中执行了传入的函数def test (f:Double => Double,n1:Double)={ f(n1) }//定义一个普通函数被用来调用对传入来的参数进行

2020-07-23 18:20:37 175

原创 MapReduce

一、什么是MapReduceMapReduce 是一个分布式计算框架，它将大型数据操作作业分解为可以跨服务器集群并行，适用于大量数据的处理，每个job包含了 map 和 reduce 两部分

2020-07-03 08:46:46 116

原创 Hadoop生态系统

一、Hadoop是什么?Hadoop是一个开源分布式系统架构分布式文件系统HDFS——解决大数据存储分布式计算框架MapReduce——解决大数据计算分布式计算将较大的数据分成小的部分进行处理分布式资源管理系统YARN处理海量数据的架构首选非常快得完成大数据计算任务已发展成为一个Hadoop生态圈二、为什么使用Hadoop?高扩展性，可伸缩高可靠性多副本机制，容错高低成本无共享架构灵活，可存储任意类型数据开源，社区活跃三、Hadoop架构HDFS(Hadoop Distr

2020-06-30 20:10:42 96

转载 Hadoop一整套简易安装步骤

（从上至下粘贴复制也能搭建出来）所需要的安装包见：链接: https://pan.baidu.com/s/1U3GzDU_R9xpoy8DCsZUFPw提取码：wm5l一、使用vm进行虚拟机的安装（软件安装包见上面的链接，注册码也在其中）1、软件安装好后2、盘片下载链接链接: https://www.centos.org/centos-linux/.3、4、5、6、一定要进行自定义硬件，不要点击完成7、内存最低4g8、处理器看自身电脑，最好内核数量为2，实在不行就19、把

2020-06-29 16:21:12 3020 2

原创使用ES进行增删改查操作

增：1、逐个增加/*put /索引/类型/唯一编号id { json串 }*/PUT abc/article/1{ "id":"1", "title":"标题1", "content":"content"}2、 post /_bulk批量增加/*post /_bulk ----批量进行增删改操作--必须写在同一行{“create”:{"_index":索引，“_type”:类型，“_id”:编号}}{json串}*/

2020-06-23 19:53:39 510

原创 shell编程及常用命令

一、准备工作1、新建一个.sh 测试脚本并进入进行编辑输入命令： vi test.sh2、进入编辑后，先输入一行命令：#!/bin/bash#! 告诉系统其后路径所指定的程序即是解释此脚本文件的 Shell 程序然后逻辑编写二、shell脚本基本命令1、输出echo 空格输出的内容然后给脚本文件赋予执行的权限执行2、变量定义变量：注意事项：1、变量名和等号之间不能有空格2、命名只能使用英文字母，数字和下划线，首个字符不能以数字开头3、中间不能有空格，可以使用

2020-06-22 20:10:31 271

原创 ELK集群的搭建

一、新建N个虚拟机（为了节约时间，直接复制之前的虚拟机）1、2、3、二、虚拟机之间进行免密登陆操作1、输入命令：ssh-keygen -t rsa -P " " （完成后连敲2下enter键）出现以下内容即代表没问题：2、输入命令：cat .ssh/id_rsa.pub >> .ssh/authorized_keys复制私钥到公钥（出现这个换面，即是正常）3、输入：ssh-copy-id -i .ssh/id_rsa.pub -p22 root@bigdata02（@后面也

2020-06-21 11:05:00 103

原创 ElasticSearch的安装和配置

ElasticSearch安装前的准备所需的安装包：链接：https://pan.baidu.com/s/1ekkxopeEoLE__mBJtdQzNA提取码：78kxELK的安装1、先在windows 系统上创建一个 Linux 的虚拟机系统，然后使用MobaXterm软件打开新建的虚拟机2、输入命令： mkdir software 新建一个文件夹用于存储安装包进入新建的文件夹，将所有的安装包一次性放入其中输入命令：cd /software3、解压文件至 opt 文件夹中//

2020-06-18 21:03:54 240

原创使用MobaXterm工具在Linux系统上安装jdk、MySQL和Tomcat

MobaXterm工具的下载和Linux系统虚拟机的安装就不做过多叙述了。首先使用MobaXterm在虚拟机中新建一个文件夹，于保存压缩包文件。相关压缩包链接：https://pan.baidu.com/s/1Eve-MJh1dMAinhONI23gtQ提取码：qkx0jdk的安装：1、先把所有压缩包拖至新建的文件夹中，如图：可以通过 ll命令查看是否上传成功，如果出现如下图所示，就表示已上传2、对jdk压缩包进行解压，输入命令：tar -zxvf jdk文件名(jdk文件名可输入前面

2020-06-17 20:13:04 3001 2

原创 Linux基础命令

Linux基础命令当我们的操作系统为Windows是需要自行创建一个Linux系统这里采用 Oracle VM VirtualBox 进行虚拟机的创建。创建虚拟机的步骤见博客：链接: https://blog.csdn.net/qq_26587339/article/details/81430201.基础命令：1、cd / 用于目录之间的切换 / 后面加上某个目录的完整路径名2、clear 或者 ctrl+l 清屏操作3、pwd 用于查看当前目录的全路径名4、基于文件夹的操作：新

2020-06-16 20:05:22 90

原创使用MyBatis实现简单的图书馆管理项目

使用MyBatis实现简单的图书馆管理项目欢迎使用Markdown编辑器你好！这是你第一次使用 Markdown编辑器所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全新的界面设计，将会带来全新的写作体验；在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片

2020-06-15 23:22:00 596

weixin_48678554的博客