大数据知识点

1 kafka命令
kafka-topics.sh --create --zookeeper 192.168.100.101:2181 --replication-factor 1 --partitions 3 --topic GMALL_START
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic GMALL_STARTS --from-beginning //查看topic内容

2 ./redis-cli -h 192.168.100.101 -p 6379 //远程访问redis
3 redis 关闭 通过redis-cli连接服务器后执行shutdown命令，则执行停止redis服务操作
4 redis删除所有key： flushall;
5 过滤时间戳不合法和 Json 数据不完整的日志
6 日志类型区分拦截器主要用于，将启动日志和事件日志区分开来，方便发往 Kafka 的不 同 Topic。
7 索引（indices）-------------------Databases 数据库
类型（type）----------------------Table 数据表
文档（Document）---------------Row 行
字段（Field）---------------------Columns 列

8 redis数据类型
string 字符串（可以为整形、浮点型和字符串，统称为元素）
list 列表（实现队列,元素不唯一，先入先出原则）
set 集合（各不相同的元素）
hash hash散列值（hash的key必须是唯一的）
sort set 有序集合 ，相较于set多了score
9 为了实现容错，ES会把查询文档集合分解为多个小的索引，每一个小的索引就叫做分片（shards）。
每一个分片都可以有0到多个副本（replicas），
而每一个副本也都是分片的完整复制品，这样也提高了查询速度。

10 es操作
GET：读取（Read）
POST：新建（Create）
PUT：更新（Update）
PATCH：更新（Update），通常是部分更新
DELETE：删除（Delete）