- 博客(18)
- 收藏
- 关注
RSS订阅原创 内存式NoSQL数据库Redis（一）
文章目录内存式NoSQL数据库Redis（一）知识点02：NoSQL与RDBMS知识点03：Redis的功能与应用场景知识点04：Redis的Windows版单机部署知识点05：Redis的桌面工具知识点06：Redis的Linux版单机部署知识点07：Redis的数据结构及数据类型知识点08：Redis的通用命令知识点09：String类型的常用命令知识点10：Hash类型的常用命令知识点11：List类型的常用命令知识点12：Set类型的常用命令知识点13：Zset类型的常用命令知识点14：BitMap
2021-06-25 19:49:39
280
原创 分布式NoSQL列存储数据库HBASE（二）
分布式NoSQL列存储数据库HBASE（二）知识点01：Hbase的功能和应用场景是什么？功能：分布式提供大数据量的随机和实时数据存储【读写】应用：大数据量、高性能、高并发、按列存储、持久化大数据数据库【结构化或者半结构化】存储为什么Hbase可以读写很快而且支持大数据量？读写很快：内存大数据量：磁盘Hbase：分布式内存 + 分布式磁盘将刚写入的数据直接写入内存，等到内存达到一定阈值以后，将内存数据写入HDFS实现持久化存储写：内存读：内存 或者 磁盘Hbase为
2021-06-25 19:39:47
434
原创 分布式NoSQL列存储数据库HBASE（一）
分布式NoSQL列存储数据库HBASE（一）知识点01：Redis如何保证数据的安全性？持久化机制：persistRDB：默认机制思想：在一定时间周期内发生一定次数数据更新【插入、删除、修改】操作，就对整个内存中所有数据拍摄全量数据快照存储在磁盘上实现手动：save/bgsave自动：save 时间 次数优点：全量、二进制文件、更快、更小、性能更好缺点：有一定概率出现数据丢失应用：缓存场景，数据备份和恢复AOF：灵活性更好：安全和性能可以自由选择思想：按照一定
2021-06-25 19:38:41
400
原创 浅谈OLTP与OLAP及事务操作
今天在讲OLTP和OLAP应用的时候被问到关于事务的问题，因为事务问题是OLTP和OLAP的很大的一个区别，关于这个问题其实理解起来很难，需要不断的反复记忆，这里再列出几个串联知识点供大家参考。1. OLTP与OLAP的应用和区别？OLTP:应用：联机事务处理，满足业务数据的存储。 特点：数据量相对较少，需要满足事务。 工具: 关系型数据库管理工具，例如MySQL，Oracle等OLAP： 应用：联机分析处理，满足基于数据处理的数据分析、存储和管理。 特点：数据量相对较大，性
2021-06-10 19:23:54
656
原创 001_数据采集工具Flume与 Sqoop
数据采集工具Flume与 Sqoop知识点01：思考在线教育项目中的需求和模块是什么？需求基于不同维度的数据分析提高报名转化率访问转咨询意向转报名基于不同维度的数据分析提高学员学习质量考勤分析模块/主题访问分析主题咨询分析主题意向分析主题报名分析主题考勤分析主题整个项目架构中使用到了哪些技术？数据生成：MYSQL业务数据库系统访问与咨询：客服系统意向与报名：CRM系统考勤分析：学员管理系统数据采集：Sqoop数据存储：Hi
2021-06-08 12:11:18
610
原创 数据采集工具Flume
Flume实时数据采集工具的使用Flume的开发已经接近极致，可以看到最近两年也没有什么更新，是一款非常实用的实时数据采集工具，可以满足大数据采集的大多数要求（全量采集还是建议用sqoop，别问为什么，问就是你的全量采集你也可以用Flume，前提是你不怕被打，前前提是你的内存还能腾出地儿给别的任务跑）。具体的使用请往后看，这款工具真的是不用脑子，有手就行，基本上你要考虑的人家都给你考虑到了，要用什么直接去官网cp过来改改就完事了，有人非要杠，开发到极致了还要改，洗洗睡吧你。1.功能1.可以将各种不同
2021-06-07 22:16:54
620
2
原创 浅谈数据库和数据仓库的区别
这几天公司新来的小伙子吃饭的时候突然问我,军哥,面试的时候问我数据库和数据仓库的区别,我都蒙了,一通乱扯,这俩究竟啥区别呀?我问他,你是不是觉得数据仓库就是大型数据库?小伙子犹豫着点点头.我觉得这个很正常,这是大部分人的理解但事实上这哥俩虽然就差一个字,却不是一个东西,数据仓库更加不是大型数据库我想大部分面试官问这个问题其实是想考察你的逻辑表达能力和用词的专业性,以此来筛选科班和培训机构出来的应聘者其实这个问题我觉得完全没有意义,因为科班也有混子,我反而更喜欢培训机构出来的有几年工作经验的人做同事
2021-06-02 21:37:48
309
1
原创 Hive开启本地模式的命令
Hive开启本地模式的命令SET hive.exec.mode.local.auto=true;自动开启本地模式的方式1、在hive的配置文件目录下，创建 .hiverc ，默认所有用户都可以使用这个配置，更改hive配置会影响此文件路径 ： /etc/hive/conf2、将set hive.exec.mode.local.auto=true; 这个设置增加到你的$HOME/.hiverc配置文件中3、远程模式时间消耗长的原因？#大多数的Hadoop job是需要hadoop提供的完整的可
2021-06-01 21:51:01
2289
2
原创 SQL----每天一个小函数之常用函数汇总四
复合类型构建操作1、Map类型构建: map语法: map (key1, value1, key2, value2, …)说明：根据输入的key和value对构建map类型hive> Create table iteblog as select map(‘100’,‘tom’,‘200’,‘mary’) as t from iteblog;hive> describe iteblog;t map<string ,string>hive> select
2021-06-01 11:09:55
2465
原创 SQL----每天一个小函数之常用函数汇总三
条件函数1、If函数: if语法: if(boolean testCondition, T valueTrue, T valueFalseOrNull)返回值: T说明: 当条件testCondition为TRUE时，返回valueTrue；否则返回valueFalseOrNullhive> select if(1=2,100,200) from iteblog;200hive> select if(1=1,100,200) from iteblog;1002、非空查找函数:
2021-06-01 10:50:01
232
原创 SQL----每天一个小函数之常用函数汇总二
数值计算1、取整函数: round语法: round(double a)返回值: BIGINT说明: 返回double类型的整数值部分 （遵循四舍五入）hive> select round(3.1415926) from iteblog;3hive> select round(3.5) from iteblog;4hive> create table iteblog as select round(9542.158) from iteblog;hive> desc
2021-06-01 10:44:26
290
原创 SQL----每天一个小函数之常用函数汇总一
最近没怎么更新,主要是没时间造数据,公司的业务数据出于保密考虑也不好拿出来用,所有只能抽时间总结了一部分sql函数,看到的人可以收藏转发,整理不易,一键三连吧筒子们!内容太多,分三部分发吧关系运算1、等值比较:语法：A=B操作类型：所有基本类型描述: 如果表达式A与表达式B相等，则为TRUE；否则为FALSEhive> select 1 from iteblog where 1=1;2、不等值比较: <>语法: A <> B操作类型: 所有基本类型描述:
2021-06-01 10:21:46
174
原创 JAVA中的容器解析----集合3---List集合的子类
List集合是Java中常用的集合之一,其常用子类有两个,分别是ArrayList和LinkedList这两个集合的特点是不尽相同的—ArrayList集合的特点是:底层数据结构是数组,查询和修改快,增删慢—LinkedList集合特点是:底层数据结构是链表查询和修改慢,增删快–注意,他们的相同点是:都是有序的,而且可以存储重复索引**在讲这两个集合之前,先来看看几种常见的数据结构**那么什么是数据结构呢?数据结构是计算机存储, 组织数据的方式。它是指相互之间存在一种或多种特定关系的数据元
2021-05-25 15:39:21
87
原创 sql之每天一个小函数之几个实用小函数
今天讲业务中常见的处理连续活跃同类型问题这类问题常用的函数为lag窗口函数,datadiff日期函数等,今天就介绍这两类函数lag与lead函数可以返回上下行的数据语法:lead(col,n,default) 用于统计窗口内往下第n行值第一个参数为列名，第二个参数为往下第n行（可选，默认为1），第三个参数为默认值（当往下第n行为NULL时候，取默认值，如不指定，则为NULL）日期比较函数: datediff语法: datediff(string enddate, string startdat
2021-05-23 21:45:38
195
原创 Java中的容器解析----集合.2
1.List集合入门很长时间没写SQL小函数了,今天更新一点,最近在总结小函数文档给新人学习使用,后续也会根据文档来做案例讲解,这篇文章先接着讲List集合,List集合的子类放到下一篇文章吧,每次内容尽量少一点,让不懂的同志们能够搞懂,理解,吸收,话不多说,开撸!1.1 List集合常用方法? public void add(int index, E element) 解释: 在集合的指定位置(索引), 插入指定的元素, 索引越界会报IndexOutOfBoundsException异常.?
2021-05-23 20:12:12
80
原创 Java中的容器解析----集合.1
关于写博客这简直,真的要吐槽一下自己,永远都是忘记再忘记,每次公司新来的小伙子们问的问题总是记下来想要写到博客,却总是因为工作一忘再忘.在这里提醒看到文章的程序员同志们,一定要坚持自己的好习惯,无论是手写笔记还是云笔记,一定要将自己所学的东西归纳整理,形成自己的知识体系,这样用的时候才不会不知从何下手,这也是刚入行或者刚毕业的同行的通病吧.之前开始写sql的小函数问题是因为公司新来的同时老是遇到解决不了的问题,完了之后就硬干,写一大堆代码,调用一堆表,各种自连接,外连接,这样跑起来不仅慢还占用资源,正确
2021-05-22 18:15:31
98
原创 sql之每天一个小函数
sql中我们经常会用到聚合函数，聚合之后它会减少数据量，但是如果我们想把聚合之后的数据和原始数据同时展示出来，那么我们需要用到窗口函数。lag窗口函数通过条件把数据划分成子类，在子类中进行排序格式 lag(list_name,num) over(partition by ___ order by )实例:原始数据:+----------------+---------------------+----------------+--+| business.name | business.ord
2021-05-07 15:48:12
53
原创 SQL之每天一个小函数
Ntile函数使用函数解释:可以看成是：它把有序的数据集合平均分配到指定的数量（num）个桶中, 将桶号分配给每一行。如果不能平均分配，则优先分配较小编号的桶，并且各个桶中能放的行数最多相差1。（这个算法在很多当中使用，spark中数据分片的时候也是这个算法，只不过是不均匀的时候，优先分配给较大编号的分片)语法是：ntile (num) over ([partition_clause] order_by_clause) as your_bucket_num然后可以根据桶号，选取前或后 n分之几
2021-04-28 19:46:12
195
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人