李sir的博客

大数据相关技术

Linux常用命令

Linux常用命令 $代表普通用户,#代表root用户 1.man命令(manual操作系统的简称) : 可以通过man命令查看某一个命令的使用方法 栗子: man su 查看su命令的使用方法 2.useradd : 添加用户命令 用法: useradd[选项] 用户名 栗子 : u...

2019-06-05 19:15:58

阅读数 22

评论数 0

GitHub

Git Git简介 Git是目前世界上最先进的分布式版本控制系统 Git命令操作 git log : 查看git提交日志 git reset --hard HEAD^ :回退到上一个版本,HEAD^^ 上两个版本 git reset --hard 版本号 git reflog : 记录每...

2019-06-04 20:40:48

阅读数 57

评论数 0

Kafka

Kafka 是一个分布式,支持分区的(partition),多副本的(replica),基于zookeeper协调的分布式消息系统 是一个分布式消息队列,生产者,消费者的功能 对消息保存时根据Topic进行分类,发送消息的为Producer,消息接受者为consummer,依赖于zookeeper...

2019-06-02 21:34:07

阅读数 7

评论数 0

HBase

HBase架构: 关键词: client,zookeeper,hmaster,hregoinserver,hlog,hregoin,store,memstore,storefile,hfile hmaster:(hbase的老大) 为regoinserver分配region 负责regio...

2019-06-02 20:29:58

阅读数 15

评论数 0

快速排序

快速排序在每一轮挑选一个基准元素,并让其他比它大的元素移动到数列一边,比它小的元素移动到数列的另一边,从而把数列拆解成了两个部分。 这种思路就叫做分治法。 元素的移动 选定了基准元素以后,我们要做的就是把其他元素当中小于基准元素的都移动到基准元素一边,大于基准元素的都移动到基准元素另一边。 挖坑法...

2019-06-01 09:47:28

阅读数 6

评论数 0

Spark

1.spark安装 (1)上传,解压 (2)进入conf目录并重命名并修改spark-env.sh.template文件 cd conf/ mv spark-env.sh.template spark-env.sh vi spark-env.sh 在该配置文件中添加如下配置 ex...

2019-06-01 08:59:07

阅读数 183

评论数 0

Mysql存储引擎与索引

Mysql存储引擎: Mysql有两种存储引擎:MyISAM和InnoDB MyISAM: MyISAM 引擎是 MySQL 5.1 及之前版本的默认引擎,它的特点是: (1)不支持行锁,读取时对需要读到的所有表加锁,写入时则对表加排它锁 (2)不支持事务 (3)不支持外键 (4)不支持...

2019-05-30 20:39:58

阅读数 4

评论数 0

冒泡排序

冒泡排序 冒泡排序又叫做交换排序,两两比较,根据自身的大小一点一点往一侧移动 思想: 相邻的元素两两比较,根据大小来交换元素的位置,每冒泡一遍,有序数列+1 原始的冒泡排序是稳定排序。由于该排序算法的每一轮要遍历所有元素,轮转的次数和元素数量相当,所以时间复杂度是O(N^2) ...

2019-05-29 20:02:06

阅读数 42

评论数 0

数据仓库

数据仓库部分 前言 (hive优化,hive数据倾斜的原因及优化,hive内置函数的使用,hive开窗函数,hive基本练习题, sqoop导入hive,hbase,mysql,及分段导入,全表导入,sql导入,导入原理,ETL概念,维度概念,建模概念, 雪花型和星型区别,数据仓库架构,hb...

2019-05-29 12:54:54

阅读数 196

评论数 0

基础数据结构总结

数据结构复习 前言 数据结构(hashmap基本原理,currenthashmap基本原理,二叉树,平衡二叉树,红黑树,单例模式手写, 工厂模式手写,快速排序手写,堆排序概念,jvm堆列栈概念,JVM垃圾回收概念(算法看自己想不先做,说出来加分) ,java集合全部概念,什么是链表,java实现链...

2019-05-28 21:08:18

阅读数 21

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭