【大数据】Storm

课程目标: hbase存储模式 hbase数据表解析 hbase存储设计 hbase数据存取解析 一存储模式 行式存储和列式存储 以行位单位,底层每一行存储在一起。 以列为单位,第一列存储完之后存第二列。 行式存储: 行式存储维护大量索引,随机读效率高。最大的特点对事务支持好。 列式存储将每一列数...

2019-01-28 23:11:22

阅读数 39

评论数 0

JVM

6.1 字节码是构成平台无关性的基石   java虚拟机不和包括java在内的任何语言绑定,它只与class文件这种特定的二进制文件锁关联. 6.3class类文件的结构 任何class文件都对应着唯一一个类或接口的定义信息,但是类或接口并不一定定义在文件里(也可以通过类加载器直接生成) Clas...

2019-01-25 19:15:25

阅读数 53

评论数 0

List排序

public static void main(String[] args) { List<Integer> numbers = new ArrayList<>(); numbers.add...

2019-01-25 10:28:16

阅读数 42

评论数 0

慕课网hive笔记(可删除)

hive是基于hadoop的HDFS之上的数据仓库,本质就是一个数据库 数据仓库: hive不可更新。 数据仓库要有数据源。 ETL 抽取,转换,装载 hive中的数据其实就是hdfs中的文件。 hive的元数据 hive将元数据放在数据库中,默认值derby,我们一般改成mysq...

2019-01-24 23:45:17

阅读数 91

评论数 0

【JAVA8】map操作

1.putIfAbsent // 如果这个key不存在,就put进去 import java.util.HashMap; import java.util.Map; /** * @author bincai, bincai@mobvoi.com * @date Oct 08 , 2018 ...

2019-01-24 17:13:52

阅读数 352

评论数 0

java8教程

一 接口的默认方法 1.为什么要有默认方法 以前创建了一个接口,并且已经被大量的类实现。 如果需要再扩充这个接口的功能加新的方法,就会导致所有已经实现的子类需要重写这个方法。 如果在接口中使用默认方法就不会有这个问题。 2.需要采用default关键字 interface Formul...

2019-01-24 11:01:57

阅读数 60

评论数 0

【Linux】服务管理

1 系统运行级别 1.1 系统运行级别 1.2 查看和修改系统运行级别 查看 runlevel 修改 init X 2 服务管理

2019-01-21 11:52:07

阅读数 33

评论数 0

【Linux】网络管理

一 网络基础 1 TCP/IP 四层模型 应用层 传输层 网际互联层 网络接口层 我们知道OSI 7 层模型,但是它只是一个原型,实际是TCP/IP四层模型 大致和OSI 7层模型对应关系如下: ARP : 把IP翻译成网卡地址,局域网里我们传递数据靠MAC地址而不是IP。交换机连接网...

2019-01-20 11:45:14

阅读数 27

评论数 0

【Linux】定时任务crontab和anacron

一 crontab 循环定时任务 1.查看crontab是否安装 2.访问控制 注意普通用户不能超过权限。 3.基本命令 这里面是空的,我们只需要照着格式写。 * * * * *可以跟命令或者shell脚本,最好用脚本,一定要是绝对路径 最小时间范围是分钟,最大时间范围是月 注意我们要写5...

2019-01-19 12:58:05

阅读数 28

评论数 0

【Linux】定时任务at

一 at命令 at命令是一次执行 1.确定at安装 2.at的访问控制 3.用法 4.at的例子

2019-01-19 11:53:53

阅读数 31

评论数 0

【Linux】工作管理和系统资源查看

一 把进程放入后台 相当于windows的最小化。

2019-01-19 11:34:04

阅读数 30

评论数 0

【Linux】进程管理

一 进程管理的作用 判断服务器健康状态 查看系统中所有进程 杀死进程 举个apache的例子: 我们客户访问,就会产生一个进程,一般可以调到2048 二进程管理PS命令 1 查看进程 2 查看进程树 3 列名 三进程管理TOP命令 1.top基本语法: 2.top命令解析 我们需要关注...

2019-01-19 11:27:46

阅读数 15

评论数 0

【Linux】软件安装包

源码包 优点: tar.gz 开源的,可以解开看,可以自由选择功能,编译安装,稳定效率高,卸载方便 缺点: 安装步骤多 安装时间长,安装比二进制时间长 二进制包(RPM包,系统默认包) 优点: 安装简单,速度快 优点: 不能再看到源代码了,不如源码包灵活,依赖性强。 在r...

2019-01-14 23:44:37

阅读数 36

评论数 0

【大数据】Spark数据读取与保存

一 动机 有时候我们数据量可能大到无法存放在一台机器中。Spark支持多种数据源 文件格式与文件系统 比如HDFS和NFS等。可以访问文本文件,JSON,序列化文件,以及protocol buffer。 Spark SQL中结构化的数据源 数据库与键值存储 比如HBASE,JDBC以及Elasti...

2019-01-13 21:16:35

阅读数 42

评论数 0

【大数据】Spark数据分区

一 前言 Spark可以通过控制RDD分区方式来减少通讯开销。所有键值对RDD都可以进行分区,Spark可以确保同一组的键出现在同一个节点上。 自定义分区

2019-01-13 20:58:58

阅读数 82

评论数 0

【大数据】Spark键值对操作

一 pairRDD 键值对RDD又叫做pairRDD,通常用来进行聚合运算 二 创建pairRDD

2019-01-13 19:53:20

阅读数 40

评论数 0

【SHELL】条件判断

一 条件判断语句 1 文件是否存在以及是否为指定类型 [ -e 文件] 如果存在是0,否则是1 [ -e 文件] && echo “yes” || “no” 2 文件权限判断 和上面一样要用中括号括...

2019-01-09 22:13:05

阅读数 91

评论数 0

【SHELL】正则表达式

1 什么是正则表达式 用于字符串的模式分割,匹配,查找和替换操作。最主要的是匹配。 2 正则表达式与通配符 ⑴ 通配符 * 匹配所有 ?任意一个字符 [] 匹配中括号中任意一个字符 ⑵ 正则 通配符最主要的作用是匹配文件名的,正则是匹配文件当中的字符串的。这个主要对linux来说的。 正则是包...

2019-01-08 23:58:23

阅读数 200

评论数 0

【SHELL】环境变量

1.source命令 一般我们配置完环境变量需要重启才生效,但是我们可以通过source直接生效 2.环境变量配置文件 /etc/profile 对所有用户有效 /etc/profile.d/*.sh 对所有用户有效 /etc/bashrc 对所有用户有效...

2019-01-08 23:40:43

阅读数 20

评论数 0

【SHELL】运算符

shell变量是弱类型,默认字符串,如果要做运算,要声明为数字型 1.declare命令 变量类型声明 如果不声明,默认都是字符串型 declare [+/-][选项] 变量名 -i 声明为整形 -p 显示声明的类型 -a 数组 基本不用,不讲 -x 环境变量,可以取代export,export...

2019-01-07 23:23:25

阅读数 14

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭