GYT0313

guyongtao@qq.com

非常详细、全面的大数据组件安装及IDEA开发环境搭建 - 搭建虚拟机集群 -包括Hadoop、HBase、Zookeeper、Spark、Kafka、Flume、IDEA

前言 文章很长很长,建议配合右边的目录。。。 博主在学习大数据过程中也写过各种组件的安装步骤,但是比较零散。 最近,在学习Spark Streaming中需要开启很多大数据服务,笔记本搭建虚拟机的集群已经带不动程序。正好,学校配了台高配的主机,所以决定从头开始搭建大数据的集群。并且记录完整、详细的...

2019-05-13 11:50:34

阅读数 547

评论数 0

16-提取器

1. 示例:提取电子邮件地址 定义了unapply(提取)函数的对象就可以称为提取器,而apply(注入)不是必须的。 object EMail { // 注入(可选) def apply(user: String, domain: String) = user + "@&quo...

2019-08-23 15:28:07

阅读数 9

评论数 0

15-隐式转换和隐式参数

1. 隐式规则 隐式定义指的是哪些我们允许编译器插入程序以解决类型错误的定义。 隐式转换受如下规则约束: 标记规则:只有标记为implicit的定义才可用。 作用域规则:被插入的隐式转换必须是当前作用域的单个标识符,或者跟隐式转换的源类型或目标类型有关联。 每次一个规则:每次只能有一个隐式定义被...

2019-08-20 14:24:56

阅读数 15

评论数 0

Java的IO流实现复制多级目录文件

1. 源目录 2. 代码 package com.gyt; import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.File; import java.io.FileReader; import...

2019-08-13 11:30:18

阅读数 18

评论数 0

Docker安装MySQL、Redis、RabbitMQ、ElasticSearch、Zookeeper

1. 安装Docer 可参考:https://blog.csdn.net/qq_38038143/article/details/98491035 2. 安装MySQL 官网:https://hub.docker.com/_/mysql?tab=description 安装: docker p...

2019-08-08 10:11:56

阅读数 16

评论数 0

将Redis 默认序列化规则(JDK)改写为Json格式

1. 默认JDK序列化测试 查看源代码: Redis默认使用JDK的序列化规则: 连接上Redis后,传入对象进行测试: Employee是一个实体类,包括id、lastName、email、gender等属性。 关于连接Redis等配置,就里就不过多阐述。。。 博主的操作环境是再SpringB...

2019-08-07 16:22:40

阅读数 17

评论数 0

IDEA创建SpringBoot无法连接https://start.spring.io

解决方法 网络上这个问题的大多数解决办法是: 如果点击ok,出现successful,那么就成功了。 不过,博主按照这样操作并没有解决问题。 也有其他人切换网络,使用手机热点能够成功,不过博主没有尝试。 博主尝试了把网线连接换成无线连接,没有成功。 最后,关机重启,成功。。。 完...

2019-08-06 14:27:49

阅读数 17

评论数 0

Docker的安装与命令使用

环境 CentOS-7、root用户、需要联网。 1.安装Docker 1. 安装Docker的条件解释Linux内核高于3.10,查看内核版本:

2019-08-05 16:17:03

阅读数 23

评论数 0

FitNess的安装和使用(加减乘除示例)

1. 下载 JAR包:fitnesse-standalone.jar (http://fitnesse.org/FitNesseDownload) 官网:http://fitnesse.org/FrontPage 2. 运行 运行命令:java -jar fitnesse-standalone.j...

2019-08-02 12:25:35

阅读数 30

评论数 0

详细安装Sonarqube7.7教程

1. 下载 可以有很多种方式使用sonarqube分析,这里列举几种: 使用Maven命令分析 使用IDEA插件 使用Sonarqube Scanner扫描工具 博主这里介绍第一种方式: 下载sonarqube-7.7 链接:https://pan.baidu.com/s/1NDY145lVG...

2019-07-25 15:12:28

阅读数 12

评论数 0

初始Java中的日志记录工具slf4j

前言 至于slf4j和log4j还有其他日志工具的关系这里就不具体说明。 具体可参考如下: https://www.techug.com/post/how-log4j-designed.html

2019-07-18 14:15:47

阅读数 18

评论数 0

配置Eclipse和IDEA的Javadoc 和 阿里巴巴代码规范检测工具(p3c)

前言 因为看到了[《阿里巴巴Java开发手册(华山版)》](https://github.com/alibaba/p3c),所以在Eclipse和IDEA中安装了相应的插件,分别是Javadoc和阿里巴巴编码规约扫描。

2019-07-11 10:02:26

阅读数 89

评论数 0

Java中Map的三种遍历方式:keySet、 entrySet、forEach

前言 最近再看《阿里巴巴Java开发手册(华山版)》,看到了关于Map的遍历方式,手册上写的很详细,我这里用代码再来展示一遍。 代码 public static void main(String[] args) { Map<String, String> hm =...

2019-07-10 11:29:52

阅读数 35

评论数 0

从代码中简单了解单元测试(Java的JUnit和Python的unittest)

前言 这段学习了很多文档,其中就包括单元测试。所以,这里写一篇博客来记录和巩固学到的知识。 1. Java的JUnit 4 使用Eclipse创建一个Java Project: JUnitTesting.java package testing; public class JUnitTesti...

2019-07-08 19:08:06

阅读数 40

评论数 0

14-使用其他集合类

前言 本节介绍除List之外的其他集合类型,如Set、Map。 1. 序列 序列类型可以用来处理依此排列分组的数据。由于元素是有次序的,所以可以使用下标如1、2、3...等访问。

2019-06-18 21:07:24

阅读数 39

评论数 0

13-使用列表

前言 本节详细介绍Scala中的列表,和很多常用操作。 1. List字面量 列表和数组非常像,不过有两个重要区别: 列表是不可变的 列表的结构是递归的(数组是平的) 2. List类型 跟数组一样,列表是同构的:所有元素必须是同一个类型。 如: Scala的列表类型是协变的。也就是说如果S...

2019-06-17 20:29:03

阅读数 61

评论数 0

12-样例类和模式匹配

前言 该节简单介绍样例类(case class)和模式匹配(pattern matching),以及各种模式、密封类(sealed class)、Option类型。 1. 一个简单的例子 这里先用一个简单的例子来切入对样例类和模式匹配的学习。 文件 15.1.scala abstract clas...

2019-06-14 21:05:25

阅读数 54

评论数 0

11-包和引入

前言 这里介绍在Scala中,包和引入的相关操作。 会与Java作对比。

2019-06-11 21:01:33

阅读数 30

评论数 0

11-Structured Streaming -- Scala版本

前言 因为《Spark-快速大数据分析》使用Spark 版本较老,并且1.1 下的Streaming 并未支持Python,所以书上并没有相应的Python 版本的代码。 因此,博主这节参考官网手册学习: http://spark.apache.org/docs/2.0.2/structured-...

2019-05-26 21:10:42

阅读数 31

评论数 0

shell编程示例

1. 判断登陆用户是否是root is_root.sh #!/bin/bash # 通过环境变量判断 test=$(env | grep 'USER' | cut -d "=" -f 2) if [ "$test" == "root" ...

2019-05-19 17:30:01

阅读数 68

评论数 0

提示
确定要删除当前文章?
取消 删除