Be yourself._在风中的意志_CSDN博客-14. 大数据,5. Java,9. 部署和环境搭建领域博主

原创大数据框架图谱（总览）

前言加入大数据开发加起来也差不多快1年多的时间了。最近的时间比较空余，正好把所有的大数据开源框架都总结一下。 Hadoop &amp;amp;amp; Hive &amp;amp;amp; Pig &amp;amp;amp; HBase...

2018-03-23 15:11:16 7519 0

原创 Junit 与单元测试

前言前段时间再写Spark例子的时候使用到了单元测试. 再次总结下. Jar包引用  <dependency> <groupId>j...

2020-07-04 22:03:46 13 0

原创 (Spark 异常) Failed to get broadcast_0_piece0 of broadcast_0

问题之前开发的时候遇到. Failed to get broadcast_0_piece0 of broadcast_0异常. 20/07/03 15:58:50 ERROR Utils: Exception encountered org.apache.spark.SparkException...

2020-07-04 21:52:12 38 0

原创 Spark 去掉前几行 & 去掉表头

前言在运行例子的时候. 遇到需要去除表头的情况. 将一般的几种做法记录于此. 文件班级ID 姓名年龄性别科目成绩 12 张三 25 男 chinese 50 12 张三 25 男 math 60 12 张三 25 男 english 70 12 李四 20 男 chinese 50...

2020-07-04 21:43:44 14 0

原创 Spark RDD QuickStart

前言本章主要介绍Spark RDD的QuickStart. 并且记录相关的操作过程与错误. Spark 集群与本地集群本地集群配置spark-en.sh和slaves文件设置相关配置即可. 主要都在conf文件夹内. 其余相关操作见本系列的前几节. slaves文件 #slaves文件...

2020-07-03 12:04:44 22 0

原创 (Mac) Mac上如何修改本地的hostname

前言之前运行Spark的时候遇到一个问题. 由于本地hostname不对导致链接连不上. 将记录操作记录于此. 操作细节 Mac上配置Hostname主要包括2处. /etc/hosts localhost:~ sean$ ls /etc | grep ".*hosts.*&qu...

2020-07-03 11:21:39 23 0

原创 (Mac异常) localhost: ssh: connect to host localhost port 22: Connection refused

前言今天启动Mac上的Spark, 运行start-all.sh. 报出了如下异常类型. 个人猜测是本地端口的问题. # 测试命令 ssh localhost //ssh: connect to host localhost port 22: Connection refused 解决措施 ...

2020-07-03 11:14:13 13 0

原创异常: No enclosing instance of type xx is accessible. Must qualify (Java 内部类)

异常前言. 开发时候遇到内部类的问题. 异常 No enclosing instance of type SparkProgrammingGuide is accessible. Must qualify the allocation with an enclosing instance o...

2020-07-03 10:57:07 19 0

原创 Log4j&Log4j2 框架知识点总结

前言最近重新看了下Log4j & Log4j2. 将知识点总结记录. 正文 Log4j 知识要点 Log4j 4大组件 Logger - 日志输出 Appender - 附着器 Layout - 布局 Appender 种类 Console 控制台输出 File 文件输...

2020-06-14 21:31:47 101 0

原创 [计算机基础]对称加密算法和非对称加密算法-公钥/私钥-数字签名/数字证书

前言很长时间没有弄明白. 公钥和私钥, 以及RSA加密算法的关系. 说的就是你Charles模拟Https请求抓包(这个以后再说吧). 本次讲知识点一扫而空. 本文主要包括知识点为: 对称加密和非对称加密公钥和私钥及数据发送数字签名数字证书对称加密和非对称加密对称加密对称加密...

2020-06-01 17:14:38 412 0

原创 Java 定时任务(Crontab/Quartz/@Schedule/Timer/Drools)

前言之前因为" cron 表达式0 0/10 * * * 与 0 */10 * * *的区别" 这篇文章经常被人评论说结论不对. 今天有时间验证一下, 验证的同时顺便总结下Java内的定时任务. 最早接触cron表达式是在使用SpringBoot的@Schedule标签. 随...

2019-12-31 23:13:00 227 0

原创 Hexo博客搭建之配置文件详解(Melody)

前言之前????️2篇关于Hexo博客搭建的文章. 有人给我留言要我使用的配置文件. 我们今天就简单聊聊这个配置文件. 其实, 在前篇Hexo博客搭建之主题构建(melody), 以及作者官方文档内以及有着比较详尽的说明, 本篇作为补充, 简单说明下需要注意的配置. 对于之前的部署和安装不太了解...

2019-11-22 14:06:49 787 1

原创 Hexo博客搭建之主题构建(melody)

前言上一章主要记录和说明Hexo的基础搭建和使用技巧. 本章, 我们主要记录下Hexo博客中关于主题的使用. 主题的选用后, 其实就是大量的配置. 以及第三方的集成, 是一件苦工, 但不难. 但是实在过于繁杂, 正好将信息记录于此. 主题选型看了下推荐, 主要选择还是NexT和Melody....

2019-11-10 13:19:15 1025 0

原创 Hexo博客搭建之基础构建(Mac)

前言基于目前的CSDN目前有些功能用起来不是特别舒服, 决定自己搭建一个博客. Hexo能够生成一个静态的博客, 此外还有Github免费仓库和阿里云OSS可选. 当然, 之前的朋友安利也安利过. 所以, 准备尝试使用Hexo搭建一个属于自己的博客. 这个系列目前准备写2-3篇, 后续会学习下前...

2019-11-09 14:01:25 218 0

原创 Mac 安装 NodeJS & NPM

前言最近搭建Hexo，需要安装npm和NodeJS. 遇到一点幺蛾子, 开帖记录下. NodeJS内包括npm, 所以直接安装npm即可. NodeJS官网http://nodejs.cn/download/ dmg安装 (不推荐) 安装使用dmg安装. 下载安装包直接安装即可. 没...

2019-11-06 23:07:20 811 1

原创 Mac 开发环境安装记录

前言前段时间重装了开发环境，记录如下. 正文 Homebrew # Step1 进入Mac 自带的终端-工具 # command+空格 - 输入"终端"即可 # Step2 输入命令下载安装 ruby -e "$(curl -fsSL https://r...

2019-10-24 11:37:45 100 0

原创 OBS 使用教程(MAC)

前言之前在Windows的机器上录制视频,发现电脑有点卡顿了. 于是尝试了在Mac上试试. 在过程中发现一系列的问题, 希望能够帮助到大家. 本章主要包括如下几个部分: 如何安装OBS 如何配置场景录制&屏幕录制如何在Mac上配置OBS的声音其他相关配置前置条件平台: M...

2019-06-19 15:59:30 13273 2

原创 Spark 基本算子

前言在前面的几章内, 我们分别介绍了Spark的安装与Spark Shell的基本操作. 本章, 我们注重介绍下Spark的基本算子. Spark的相关权威的介绍建议查看 http://spark.apache.org/docs/latest . 本文对于其进行部分个人理解上的加工. 基础知识...

2019-05-28 19:24:56 178 0

原创 Scala训练(一) 基本集合函数

前言有一段时间没有使用Scala, 我们今天回顾下Scala的常用的函数算子, 并使用一些练习加深理解和印象. 这些函数对于理解Spark的相关算子非常有用. 建议自己练习. 所有的练习代码, 都可以在 https://github.com/SeanYanxml/arsenal/tree/mas...

2019-05-26 17:22:31 453 0

原创 MongoDB 基础概念与操作解析

前言在前一章内MongoDB 安装(Mac), 我们介绍了基本的MongdoDB的安装. 本章我们继续接着上章的内容继续. 最近眼疾较为严重, 所以许久没更新了. 各位, 在工作和生活的时候多进行运动, 多保护自己的身体. 不要被剥削和洗脑的太过严重! 基本概念我们都知道, 在Mysql内,...

2019-05-22 21:43:18 104 0

原创 MongoDB 安装(Mac)

前言 MongoDB安装 GUI工具下载MongoDB安装包 localhost:MongoDB Sean$ sudo curl -O https://fastdl.mongodb.org/osx/mongodb-osx-x86_64-3.4.2.tgz Password: % T...

2019-05-12 21:54:36 393 0

2019-05-03 22:01:52 137 0

原创 Mysql 数据库事务

数据库事务数据库的ACID讲解一下。数据库的ACID是数据库事务的四个基本特性。ACID4个属性分别是: Atomic原子性，Consistence一致性，Isolation隔离性，Durability持久性。首先，什么是事务？事务是数据库内一些操作的合集。比如insert ...

2019-05-03 17:26:56 116 0

转载 Mysql 数据库锁机制

2019-05-03 15:17:12 62 0

原创设计模式概览(Java)

前言在设计模式概览中,我尽可能的使用通用化的语言来描述设计模式. 本章内, 我们将给出Java版本的设计模式概览, 及通用示例. 章节目录本文主要包括如下几个部分: 六项基本准则创建型模式(五种) 结构型模式(七种) 行为型模式(十一种) 六项基本原则略. 总体为了满足对修改关闭, ...

2019-05-02 21:51:08 92 0

原创设计模式概览

2019-05-02 18:26:30 54 0

原创设计模式之(四) 行为模式

前言离之前的设计模式之(二) 创建者模式的编写有一段时间了. 这部分的内容其实早已经写好. 最近整理出来. 另: 1. 虽都尽量详尽. 但是, 近来回看, 发现书中并不是都对. 也许是个人的理解不同. 2. 这部分的内容, 后续会分开详述. 前言 23种设计模式中11种结构类型模式。其分别是策...

2019-05-02 15:15:44 149 0

原创设计模式之(三) 构造模式

前言离之前的设计模式之(二) 创建者模式的编写有一段时间了. 这部分的内容其实早已经写好. 最近整理出来. 另: 1. 虽都尽量详尽. 但是, 近来回看, 发现书中并不是都对. 也许是个人的理解不同. 2. 这部分的内容, 后续会分开详述. 前言 23种设计模式中7种结构类型模式。其分别是适配...

2019-05-02 15:06:18 198 0

原创 Scala语法(七) 隐式转换

前言本章将介绍Scala中的隐式转换部分. 正文我们之前在遍历数组的时候, 使用了1 to 10的方法. 但是, Scala内却没有此方法, 此处使用了隐式转换的相关知识. 我们通过implicit -v查看Scala默认导入的隐式转换方法. scala> : implicit -v ...

2019-05-02 10:42:22 153 0

原创 Scala语法(六) Akka与线程通信

前言在初期, Scala可以通过Akka来实现线程通信. 当然, 现在还支持使用Netty方式进行通信. 本章主要介绍使用Akka方式进行通信的写法. 正文 Master结点 import akka.actor.Actor import akka.actor.ActorSystem im...

2019-05-02 10:09:22 195 0

原创 Scala语法(五) Actor与线程池

前言在前面的章节内, 我们介绍了Scala基础、集合、方法与函数体, 以及模式匹配的相关知识. 本章简单的介绍了Actor的相关知识. 正文创建Actor 个人理解Actor对象与Java内的Thread对象相似. 创建时通过继承的方式创建Actor类, 并通过start()方法启动Act...

2019-05-02 10:00:03 293 0

原创 Java JSP基础文件上传

前言之前工作的时候, 经常听人提及JSP与Java Servlet的概念. 本章就主要本章涉及的例子都可以在https://github.com/SeanYanxml/arsenal/tree/master/arsenal-java/arsenal-servlet下找到. 如果你觉得我的项目不...

2019-04-30 21:39:05 478 0

原创 Java Servlet 基础编程 HelloWorld & HelloForm

前言在工作的时候, 经常听别人说. Servlet是接触Web编程的第一步, 而不是SSH的框架编程. 由于, 在学校的网络编程的知识快忘了个干净. 本章将两个基础的部分记录于此. 本章主要介绍HttpServlet的Quick Start Demo. 后一章主要介绍表单提交的Demo. 本章...

2019-04-30 17:47:11 195 0

原创 Scala语法(四) 模式匹配

前言 Scala中的模式其实和Java中的switch类似. Scala中对于Java内的switch进行了扩展, 例如数组模式匹配、List模式匹配、偏函数等. 其功能要远远强于Java的简单的switch匹配. 正文基本匹配下方的例子中包含了多种模式匹配. 主要包括: 字符串匹配混合...

2019-04-28 17:40:15 84 0

原创 Scala语法(三) 类与对象

前言在前面的章节内, 我们分别介绍了Scala编程基础以及Scala的函数式编程. 本章, 我们将介绍Scala的类与对象的相关内容. 正文类 & 对象 Scala中的类的概念与Java一样. 通常通过class <className>进行定义, 一般一个类还可以定义一个...

2019-04-28 17:28:08 106 0

原创 Scala语法(二) 函数与方法

前言在前面的章节内我们简单的介绍了Scala的基本语法中, 常量&变量、if判断、循环以及基本的集合:数组、元组、Set、List和Map数据类型的基本操作. 本章, 我们将介绍Scala中的函数与方法. 正文经常听别人这样介绍Scala, Scala是面向函数式的编程语言. 那么,...

2019-04-28 15:19:53 76 0

原创 Scala语法(一) 基础语法(变量&常量&判断&循环&数组&集合)

前言在前面的章节中, 我们介绍了如何在Eclipse内安装Scala环境. 本章开始, 我们将讲解下Scala的基本语法. PS: 1. 个人虽然没有想转Scala语言开发的思想, 但是近来Scala语言被各种媒体炒的火热. 了解下总没有坏处. 就个人而言, 还是非常喜欢Java的简洁语法的. ...

2019-04-28 14:57:54 132 0

原创 Eclipse Scala环境的配置

前言要开发Scala程序, 一般使用的IDE主要有3种: NetBean Eclipse IDEA 由于个人不太习惯IDEA的一些使用功能, 已经只能打开一个项目.(这可太蠢了.) 所以, 继续选择在Eclipse IDE上集成Scala IDE. 当然, 官方提供了Scala IDE, 可...

2019-04-13 01:45:56 1745 0

原创 Eclipse 插件管理

前言前段时间需要安装Eclipse Scala插件, 折腾半天, 终于捣鼓好了. 将Eclipse 插件相关的知识记录在此. 安装插件市场安装/地址安装(在线安装) 在Eclipse内安装插件, 一般人选择的是市场安装. 其实, 这样做有很多问题: 安装的软件通常是最新版, 与你当前使...

2019-04-12 18:20:10 1029 0

原创 HBase 基本原理

前言作为Hadoop体系中BigTable中的具体实现. HBase中主要解决的如何存储数据, 并建立相应索引, 快速查找数据. 其特性是写快, 读慢. 本章就简单的聊聊这些过程: 存储数据/查找数据. 基础知识在前面的章节內, 已经讲过HBase內主要有如下的组成部分. Table R...

2019-04-11 20:22:46 71 0