- 博客(37)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 大数据介绍
大数据的特征：数据量大 （各行各业产生的数据） 类型繁多 ： 结构文件、半结构文件(xml)、非结构化数据（视频） 价值密度低 ： 数据总量膨胀，但有用的数据较少 速度快时效高 ： 例如高德查看当前交通情况大数据的挑战：存储 ： 每天几百GB、几TB的资料 分析 ： 如何从大量数据挖掘出隐藏的巨大商业价值，例如购物时推荐 管理 ： 如何快速构建并保证系...
2019-12-27 04:24:57
181
原创 Spring整合log4j日志
Log4j介绍：通过使用Log4j，控制日志信息输送的目的地可以为控制台、文件、数据库、GUI组件、甚至是套接口服务器、NT的事件记录器、UNIX Syslog守护进程等； 可以控制每一条日志的信息内容和信息输出格式； 通过定义每一条日志信息的级别，我们能够更加细致地控制日志的生成过程；日志级别：OFF：关闭了日志信息 FATAL：可能导致应用中止的严重事件错误 ERRO...
2019-12-24 15:32:43
478
原创 大数据环境搭建(在虚拟机上)
一、安装VMare二、安装Centos7三、配置linux1、配置网络ip addr #查看本机ipvi /etc/sysconfig/network-scripts/ifcfg-ens33BOOTPROTO=static #修改ONBOOT=yes #修改IPADDR=192.168.52.100NETMASK=255.255.255.0GATEWAY=192.1...
2019-12-23 22:33:33
1035
1
原创 阿里云相关配置和参数
服务器性能参数：带宽：通常以bps来表示，即每秒可传输之位数 vcpu:相对于物理CPU而言，虚拟机内的CPU 网络流入带宽：例如上传 网络流出带宽：例如访问网站，查询数据 吞吐量：指在一次性能测试过程中网络上传输的数据量的总和。对于交互式应用来说，吞吐量指标反映的是服务器承受的压力，在容量规划的测试中，吞吐量是一个重点关注的指标，因为它能够说明系统级别的负载能力。 吞吐率：...
2019-12-18 16:09:27
889
原创 postman的使用
postman介绍：postman 可以保持登陆状态（可以模拟登陆）如何在request或session中存储对象？？例如在request中存储对象的程序较难模拟执行，可以采用：不动态获取参数，而是写死bug总结：1、调用接口时，无法访问具体接口 （虽然参数传对了）？要是这种格式的注意：? 和参数之间不应该有空格2、localhost 与 12...
2019-12-18 15:47:31
391
1
原创 集合总结 --- 集合同步
集合同步的概念：比如说现在A线程 和B线程，要拿到这个集合对象，现在集合对象里有 [1,2,3]。那么A在集合对象里添加了一些数字[1,2,3,4,5]。那么这个时候B线程取拿这个集合对象的时候，还是[1,2,3]而不是A已经修改过的集合[1,2,3,4,5]。所以说这里的集合不同步。转https://blog.csdn.net/qq_31156277/article/details...
2019-12-17 23:00:09
272
原创 集合总结 --- Map
Map体系结构：与set的区别：Set底层是使用了map集合（value为null值） ； 所以HashMap和TreeMap底层可以看Set 底层是多少公共方法：添加put(K key,V value) ; //如果出现相同的键，会覆盖原有的键的值 putAll(Map<? extend K,?Extend V> m)删除clear() remove(...
2019-12-17 19:52:33
66
原创 集合总结 --- Set
HashSet：原理：底层是hash表，根据对象的hash值来存储 （hash码：collection.Demo@1540e19d）判断hash值是否相等的底层实现(JDK1.7)：数组+链表首先判断hash值是否相等 （调用hashCode()方法） 如果不相等，则将对象存储到hash表中 如果相等，则比较是否为同一对象（调用equal()方法） 如果部位同一对象，则以链表...
2019-12-17 19:30:34
83
原创 集合总结 -- List
List特有的方法：增： add(index,element) ; add(index , Collection); push(element) 删：remove(index) 改：set(index,element) 查：get(index) ; subList(fromIndex,toIndex) ; listIterator() ; indexOf() ;ArrayLi...
2019-12-17 19:00:18
97
原创 集合总结 -- 公共
集合的基础框架：Set:Set 元素是无序的（存入的顺序和取出的顺序不一致） ；元素不能重复 根据元素本身访问；List:有序; 元素可重复 根据元素索引访问；Map:数据项由2个值组成key-value 根据元素的Key来访问value引入泛型：Java1.5之后引入泛型，所有集合接口和实现都可以使用他。允许我们为集合提供一个可以容纳的对象类...
2019-12-17 18:30:35
109
原创 数据库 -- 表设计1
一对一关系：一对多模型：商城中的 商品表shop_product 和 商品物品表 shop_product_item 是 一对多关系 。 关联字段是shop_product_item的product_id字段多对多模型：合能项目中 角色表manager_role 和 菜单表manager_menu 是多对多关系。中间表为manager_role_m...
2019-12-17 16:12:47
299
原创 数据库 -- 基础知识
关系模型：就是“一对一、一对多、多对多”等关系模型。关系模型就是指二维表格模型，因为一个关系型数据库就是二维表及其之间的关系 组成的一个数据组织。非关系型数据库：主要基于“非关系模型”的数据库 ；非关系型模型比如有：列模型：存储的数据是一列列的。关系型数据库以一行作为一个记录，列模型数据库以一列为一个记录。（这种模型，数据即索引，主要是一些分布式数据库）键...
2019-12-17 13:55:40
88
原创 jvm优化总结 -- 实战
jvm优化理论：JVM优化主要目的是 : 降低youngGC的频率、减少fullGC的次数 ，过多的yongGC和fullGC会占用很多系统资源，影响效率 。而影响内存效率最关键的是fullGC，因为他对整个堆内存进行整理了，占用了大量的资源 。 调优原则： a . 让对象在新生代GC时被回收、 b. 让对象在新生代多存活一段时间 c .不要创建过大的对象及数组避...
2019-12-17 01:55:27
384
原创 jvm优化总结 -- 理论
JVM内存组成部分：线程共享的： 方法区+堆 线程独享： PC寄存器+栈+本地方法栈具体：栈：基本数据类型数据 堆：存储对象或者数组； 方法区：（记忆：类型信息+类变量+方法信息+常量池） 1、类型信息，例如类的全限定名、类型的修饰符 2、常量池： 字面量（类名，成员变量名等等)）、符号引用（？） 3、方法信息，例如方法名、方法的返回类型、方法参数的类型，...
2019-12-17 00:26:45
106
原创 linux服务器优化
1、使用free命里查看内存具体使用情况 ,使用free -m 命里查看free命里显示结果，解析如下；total——总物理内存 ，total=used+freeused——已使用内存，一般情况这个值会比较大，因为这个值包括了cached+应用程序使用的内存free——完全未被使用的内存shared——应用程序共享内存buffers——缓存，主要用于目录方面,inode值...
2019-12-16 00:14:28
125
原创 命令行命令
命令行命令https://mp.weixin.qq.com/s?src=11×tamp=1575286410&ver=2010&signature=tI3C055KAsVsXIz-bFeFHTxqWrBBVf3h8Xsc8pG21zVpbjBMpTL9P8CaHDYmnmDAGcU0IriNHMFmOxvoeteWRn2wfyqKCSXjLkjy1LPM5Uk...
2019-12-15 23:32:06
270
原创 Hadoop --- HDFS介绍
HDFS是什么？？HDFS（Hadoop Distributed File System ），即hadoop的分布式文件系统File System 文件系统：操作系统中负责管理和存储文件信息的软件分布式文件系统 ：当数据集大小超出一台计算机的存储能力时，就有必要将它拆分成若干部分，然后分散到不同的计算机中存储 ；管理网络中跨多台计算机存储的文件系统称之为分布式文件系统...
2019-12-05 12:08:44
144
原创 hadoop --- Hadoop介绍
Hadoop简介：提供了一个可靠的且可扩展的存储和分析平台 ； 其与关系型数据库的区别在于：它们所操作的数据集的机构化程度，Hadoop对非结构化数据或半结构化数据非常有效。https://mp.weixin.qq.com/s?src=11×tamp=1575514273&ver=2015&signature=TUAkEUuEgEoDQvdwXo3TVA...
2019-12-05 11:49:06
73
原创 Scala --- 隐式转换和隐式参数
隐式转换：定义：它可以允许你手动指定，将某种类型的对象转换成其他类型的对象或者是给一个类增加方法 即定义一个使用 “implicit”关键字修饰的方法 实现把一个原始类转换成目标类，进而可以调用目标类中的方法隐式参数：所谓的隐式参数，指的是在函数或者方法中，定义一个用implicit修饰的参数，此时Scala会尝试找到一个指定类型的用implicit修饰的参数，即隐式值，并注入...
2019-12-04 22:06:28
124
原创 Scala --- 协变、逆变、非变
class Pair[T](a:T)object Pair { def main(args: Array[String]): Unit = { val p1 = new Pair("hello") // 编译报错，无法将p1转换为p2 val p2:Pair[AnyRef] = p1 println(p2) }}协变：class Temp2[...
2019-12-04 21:30:42
113
原创 scala --- 上下界
在指定泛型类型时，有时需要界定泛型类型的范围，而不是接收任意类型 ; 比如，要求某个泛型类型，必须是某个类的子类，这样在程序中就可以放心的调用父类的方法，程序才能正常的使用与运行 scala的上下边界特性允许泛型类型是某个类的子类，或者是某个类的父类 U >: T 下界的定义 ， 即U必须是类型T的父类或者是自己本身。 U <: T...
2019-12-04 18:12:19
164
原创 Scala --- 泛型
scala和Java一样，类和特质、方法都可以支持泛型scala> val list1:List[String] = List("1", "2", "3")list1: List[String] = List(1, 2, 3)在scala中，使用方括号来定义类型参数 List[String]定义一个泛型方法 def getMiddle[A](arr:Array...
2019-12-04 18:02:20
136
原创 Scala --- 提取器Extractor
定义：从传递给它的对象中提取出构造该对象的参数 (类似 样例类进行模式匹配提取参数 ) case SubmitTask(id, name) => println(s"id=$id, name=$name"原理：Scala提取器是一个带有unapply方法的对象 ；unapply方法算是apply方法的反向操作 ；class Student { ...
2019-12-04 17:50:52
143
原创 Scala --- 异常处理
举例：object ExcepionTest1 { def main(args: Array[String]): Unit = { val i = 10/0; println(i) }}//输出：Exception in thread "main" java.lang.ArithmeticException: / by zero at com.excep...
2019-12-04 17:24:49
90
原创 Scala --- 模式匹配和样例类
Scala的模式匹配机制，可以应用到很多场合： switch语句 类型查询 以及快速获取数据 scala还提供了样例类，对模式匹配进行了优化，可以快速进行匹配匹配字符串：//todo:匹配字符串 ， 类似 switchobject CaseDemo01 extends App{ //定义一个数组 val arr=Array("hadoop"...
2019-12-04 17:07:27
179
原创 Scala --- 面向对象编程之trait特质
介绍：trait特质 是 Scala中代码复用的基础单元 （相当于java的接口） 作用：他可以将方法和字段定义封装起来，然后添加到类中 与类的区别：每个类只能继承一个超类，而一个类可以添加任意数量的特质 ； 使用方法： 使用extends 来继承trait ； 如果要继承多个trait，则使用with关键字 ...
2019-12-04 16:06:24
125
原创 Scala --- 面向对象编程之继承
scala和Java一样，使用extends关键字来实现继承eg1：实现简单继承class Person1 { var name = "super" def getName = this.name}class Student1 extends Person1object Main1 { def main(args: Array[String]): Unit =...
2019-12-04 14:17:16
161
原创 大数据 -- Scala：面向对象编程之对象
Scala中的object：Scala是没有java中的静态成员的 。如果需要用到static变量、static 方法，就要用到Scala的单例对象object 。注意：使用object定义一个单例对象，可以用object作为工具类或存放常量//单例对象只能有一个无参的主构造器，不能添加其他参数object DateUtils { //在object中定义的成员变量，相...
2019-12-04 13:04:17
78
原创 大数据 -- Scala：面向对象编程之类
类的定义：package comimport java.util.Dateclass Customer { // _ 表示使用默认值进行初始化 ； //String -- null , Int -- 0 , Boolean -- false //val变量不能使用_来初始化 var name:String = _ var sex:String = _...
2019-12-03 20:01:18
77
原创 大数据 -- Scala：高阶函数
定义：使用函数值作为参数，或者返回值为函数值的 “函数”和“方法”函数值作为参数：//定义一个数组scala> val array=Array(1,2,3,4,5)array: Array[Int] = Array(1, 2, 3, 4, 5)//定义一个函数scala> val func=(x:Int)=>x*10func: Int => Int...
2019-12-03 19:33:09
129
原创 大数据 -- Scala ： 函数式编程
1、函数式编程介绍：函数：函数即Function，是从集合A到集合B的一种映射关系。如果集合A中的每一个元素都对应到集合B中的某一个元素，那么这种映射关系就叫做函数。我们将来使用Spark/Flink的大量业务代码都会使用到函数式编程遍历 foreach方法描述：foreach(f: (A) ⇒ Unit): Unit方法说明：foreach API ...
2019-12-03 18:54:44
200
原创 大数据 -- Scala集合：Map、Set、List
1、映射Map定义：Map可以称之为映射。它是由键值对组成的集合。scala当中的Map集合与java当中的Map类似，也是key，value对形式的。在scala中，Map也分为不可变Map和可变 Map。不可变map：语法：val/var map = Map(键->值, 键->值, 键->值...) // 推荐，可读性更好val/var...
2019-12-03 15:23:32
391
原创 大数据 -- Scala：方法、函数、数组、元组
1、方法1）语法：def methodName (参数名:参数类型, 参数名:参数类型) : [return type] = { // 方法体：一系列的代码}- 参数列表的参数类型不能省略- 返回值类型可以省略，由scala编译器自动推断- 返回值可以不写return，默认就是{}块表达式的值注意：如果定义递归方法，不能省略返回值类型 递归方法：求阶乘 ...
2019-12-03 14:45:22
228
原创 大数据 -- Scala语法：变量、数据类型、标识符、条件表达式、块表达式、循环
1、声明变量1）语法格式 ：val/var 变量名称:变量类型 = 初始值 val定义的是不可重新赋值的变量(值不可修改) var定义的是可重新赋值的变量(值可以修改) notice:scala的语句最后不需要添加分号 scala中声明变量是变量名称在前，变量类型在后，跟java是正好相反使用val声明变量,相当于java中的final修饰,不能在指向...
2019-12-02 22:31:23
124
原创 大数据 -- Scala 介绍
1、介绍官网https://www.scala-lang.org 是一门多范式编程语言，目的是要集成面向对象编程OOP和函数式编程FP的各种特性 （扩展：范式指编程时的指导思想，例如C语言是过程式编程语言，java,c# 是面向对象式编程语言，haskell式函数式编程语言）底层：scala 源代码被编译成java字节码(class文件) ，所以可以运行在JVM ，并可以调用现...
2019-12-02 21:31:49
250
hadoop集群搭建教程.zip
2019-12-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人