hadoop的学习

Hadoop

1.1大数据的概念big data

bit、Byte、KB、MB、GB 、TB 、PB、 EB 、ZB 、YB、 BB 、NB、 DB
1Byte=8bit
1k=1024Byte
1MB=1024k
1G=1024M
1T=1024G
1P=1024T

1.2 大数据的特点

volume大量
velocity高速
variety多样
value低价值密度

1.3大数据应用场景

大数据部门
1、平台组
2、数据仓库组
hive数据分析、数据仓库建模、ETL工程师–数据清洗
3、数据挖掘组
算法工程师
推荐系统工程师
用户画像工程师
报表开发组
javaee工程师

---

**

redis的原理以及实战

**
持久化就是redis遇到灾难性的故障的时候，就会丢失所有的数据，然后定期地同步和备份到一些云存储服务上去，那么就可以保证数据不丢失全部，还可以恢复一部分数据回来

redis持久化：RDB，AOF
为了给定的key设置生存时间，当key过期时，它就被自动删除

expire key seconds
set和getset进行复写
ttl查询缓存的时间，以秒为单位
time to live
key返回-2已经失效了
key返回-1永久有效

---

json_extract_scalar

如何选择json_extract函数和json_extract_scalar函数？

json_extract函数和json_extract_scalar函数都是用于从JSON对象或JSON数组中提取内容，用法类似，主要区别如下：
json_extract函数的返回值是JSON类型，json_extract_scalar函数的返回值是varchar类型。
说明 此类型是指SQL语法中的数据类型，例如varchar、bigint、boolean、JSON、array、date等，与日志服务索引中的数据类型不同。您可以通过typeof函数查看SQL分析对象的数据类型。更多信息，请参见typeof函数。
json_extract函数可以解析JSON对象中任意一块子结构，json_extract_scalar函数只解析标量类型（字符串、布尔值或者整形值）的叶子节点，返回对应的字符串。