- 博客(28)
- 收藏
- 关注
RSS订阅原创 多服务器下做二级代理【转载】
Cntlm是一个HTTP二级代理软件。它主要的作用，是在能代理上网的前提下，给这个代理再做一个代理，提供给更多的下级用户。下级用户不需要、也不可能知道代理的账户密码，这样既保障了安全、又实现了方便。A B C 三台服务器，网络原因 B服务器无法访问C，A 可以访问。假设你有一台局域网的服务器，服务器没有外网怎么办？使用 cntlm 做一个二级代理。
2023-09-20 17:11:03
117
转载 Zookeeper--四字命令
四字命令 四字命令的使用方式非常简单,通常有两种方式。 第一种是通过Telnet方式，使用Telnet客户端登录ZooKeeper的对外服务端口，然后直接输入四字命令即可 telnet localhost 2181conf123 第二种则是使用nc方式 ...
2021-08-25 15:40:27
1702
原创 MySql 行转列操作
行转列操作将行数据转为列数据展示话不多说 开干准备数据CREATE TABLE `t_score` ( `id` int(11) NULL DEFAULT NULL, `account` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL, `grade` int(255...
2020-02-11 19:35:50
159
原创 Spark（三）【Spark核心RDD，SparkOnYarn】
在上一篇文章中，讲了Spark的简单应用开发，在构建数据源的时候，返回了一个RDD对象，所有对数据的操作，都是在这个对象中进行操作，RDD对象是Spark中至为核心的组件，这篇文章就一起来谈谈Spark RDD (resilient distributed dataset)什么是RDD？RDD（ resilient distributed dataset ） 弹性分布式数据集；RDD代表是一个...
2020-01-14 21:38:33
135
原创 Spark（二）安装 应用 原理刨析
Spark 伪分布式集群环境搭建Shell命令开发WordCount ApplicationJava API 开发WordCount Application
2020-01-13 20:52:49
136
原创 Spark 入门 （一）
文章目录Spark特点官方文档SparkApache Spark 是一个快如闪电的统一分析引擎（并没有提供数据存储的方案)Lightning-fast unified analytics engine快如闪电（相比于传统的大数据处理方案MapReduce）：Spark将一个复杂的计算任务Job拆分为多个细粒度的Stage，每一个Stage都可以分布式并行计算；对于MapReduce初代...
2020-01-13 20:50:44
123
原创 Scala 模式匹配、样例类、密封类 (十二)
模式匹配(match pattern)是Scala中非常有特色，非常强大的一种功能。模式匹配，其实类似于Java中的swich case语法，即对一个值进行条件判断，然后针对不同的条件，进行不同的处理。
2020-01-10 22:24:07
165
原创 Scala 集合 (十一)
Scala 集合元祖类型Tuple： 可以存放任意类型的特殊类型，类似于ArrayList<Object>内置：Tuple1~Tuple22使用Tuple2模拟K\V键值对创建元组# 创建2个元素元组scala> val t2 = ("zs",18)t2: (String, Int) = (zs,18)scala> t2.getClassres0:...
2020-01-10 22:15:02
172
1
原创 Scala 泛型 (十)
文章目录泛型Java泛型回顾Scala 泛型类Scala 泛型方法上边界&下边界视图边界多重限定多重上界多重下界既有上界又有下界协变逆变不变上下文限定([拓展](https://blog.csdn.net/u010086122/article/details/81748022))泛型安全：将运行时期可能出现类型错误转换到了编译期避免类型转换List list = new Arr...
2020-01-10 09:48:40
222
原创 Scala 异常处理和隐式转换 (九)
隐式转换函数(implicit conversion function)指的是以implicit关键字声明的带有单个参数的函数。这样的函数将被自动应用，将值从**一种类型转换为另一种类型**。隐式转换函数叫什么名字是无所谓的，因为通常不会由用户手动调用，而是由Scala进行调用。但是如果要使用隐式转换，则需要对隐式转换函数进行导入（`import`）。因此通常建议将隐式转换函数的名称命名为“one2one”的形式。
2020-01-09 16:20:40
244
原创 Scala 高阶函数 (八)
Scala 中的高阶函数，函数式编程，开发时候不用过多的关注实现，只关注结果匿名函数语法：参数列表 => 函数体柯里化函数语法：def sum(x:Int)(y:Int) = x+y函数对象在scala中内置了23个函数对象，分别是Function0~Function22函数对象作为参数注意：Scala的函数对象可以作为引用进行传递，原因函数也是对象package...
2020-01-08 23:05:20
63
原创 Scala 特质类-Trait (七)
Scala trait类使用方面类似于Java中的Interface接口特点：声明特质类时，类的类型为trait特质类中，可以有抽象成员也可以有具体成员；特质类在实现时，如果当前类没有父类使用extends关键字， class 类名 extends 特质类1 with 特质类2 with 特质类3 ...特质类在实现时，如果当前类有父类，使用时class 子类名 extends ...
2020-01-08 22:55:39
179
原创 Scala 继承 访问修饰符 （六）
面向对象的三大特征，封装继承多态，Scala作为一款面向对象编程语言，自然不会缺少继承继承：子类继承父类，关键字extends , 单继承基本使用
2020-01-08 22:49:43
143
原创 Scala 对象 （五）
文章目录对象单例对象（singleton）伴生对象和伴生类apply和unapply对象对象：object类型scala类；注意scala中没有static静态关键字，但是可以使用object实现类似操作；单例对象（singleton）Scala 中 object对象定义了某个类的单个实例，反编译查看object对象中有一个静态常量对象，无参构造是私有的，在无参构造中给静态常量对象赋值...
2020-01-08 22:31:18
84
原创 Scala 类 （四）
文章目录Scala class类的定义类的使用原理剖析@BeanProperty手动覆盖getter/setter方法类的方法定义辅助构造器主构造器主构造器参数列表的变化Scala class类是对象的模板，对于一个类中包含了属性和方法；scala 的类和Java的类很相似，所有的类类中的字段自动带getter 和 setter 方法你可以用定制的 getter/setter 方法替换掉...
2020-01-07 22:20:22
98
原创 Win10 系统下双击Jar包运行
Win10系统下双击运行jar包踩到的坑！！！查了许久解决的，整理保存下找一个可执行jar包右键属性，更改打开方式为jdk安装目录下Java\jdk1.8.0_92\bin\javaw.exe，勾选始终用此程序打开按下WIN+R 输入regedit 打开注册表编辑器找到HKEY_CLASSES_ROOT\Applications\javaw.exe\shell\open\command修...
2020-01-07 20:57:25
947
原创 Scala 数组的优雅操作（三）
文章目录数组Array定长数组声明使用数组排序多维数组可变长数组声明数组Array定长数组声明有多中声明方法 长度不可变语法： `Array数据元素类型package array/** * 数组创建 */object ArrayCreate { def main(args: Array[String]): Unit = { // 声明数组 /...
2020-01-07 17:59:41
181
原创 Scala 函数（二）
Scala 函数Scala中要定义函数，需要给出函数的名称，参数和函数体def function(x: Double）= if （x > 0 ）x else 0**必须给出所有参数的类型，不过只要函数不是递归的 ，可以不用指定返回值类型，Scala编译器可以通过=符号右侧的表达式的类型推断出返回类型。如果函数体需要多个表达式完成，可以用代码块，块中最后一个表达式的值就是函数的返回值...
2020-01-07 17:18:50
126
原创 位运算 - 二进制快速转十进制
二进制如果你是搞网络的，我觉得你一定要记住以下几种二进制数的转换值。你是一个网络工程 师，当看到一串二进制数时，你不要告诉我你会拿出笔纸或掰手指算半天才知道它转化成十进制的数值。要想快，那就记下下面几种常见的二进制--十进制转换：以8位 来演示:1.第一种:0000 0001 10000 0010 20000 0100 40000 1...
2020-01-06 23:04:37
1965
原创 Scala 初识 （一）
官网：https://www.scala-lang.org/Scala编程语言是一款多范式的编程语言，即纯面向对象又是函数式编程的一款高级语言；支持类型推断（推断）可以在复杂的应用避免一些不必要的错误；Scala的应用程序运行在JVM（java 虚拟机）之上，可以无缝的和Java语言进行互操作；并且提供了一个规模庞大的生态系统，可以简化复杂应用的开发；
2020-01-06 17:43:27
155
转载 MapReduce Yarn 详解
Hadoop 分布式计算框架(MapReduce)。MapReduce设计理念：- 分布式计算- 移动计算，而不是移动数据MapReduce计算框架步骤1：splitsplit切分Block，得到很多数据片段例如图中的split0, split1, split2。步骤2：map有多少个片段，就有多少个map，map是一个Java线程。线程为硬件和对象。数据按照键值对的形式...
2020-01-02 09:48:46
248
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人