- 博客(29)
- 收藏
- 关注
RSS订阅原创 ES 核心--结构化搜索 基于range filter 来进行范围过滤
range：相当于SQL中的between，用来做范围过滤1、测试数据，为文章添加浏览量字段数据POST /forum/article/_bulk{"update" : {"_id": "1"}}{"doc": {"view_cnt": 30}}{"update" : {"_id": "2"}}{"doc": {"view_cnt": 50}}{"update" : {"_id": "3"}}{"doc": {"view_cnt": 100}}{"update" : {"_id":
2021-07-19 22:34:52
294
原创 ES 核心--结构化搜索 filter 执行原理（Bitset 和 Caching 机制）、bool组合多个filter来索引数据
1、filter执行原理见：https://blog.csdn.net/miaomiao19971215/article/details/1054874462、搜索提交日期为2021-07-11，或者文章id为XHEX-A-3412-#f234的文章，同时要求文章的提交日期绝对不为2021-06-11must :必须匹配must_not: 必须不匹配should:可以匹配一个或者多个GET /forum/article/_search{ "query": { "const
2021-07-15 23:26:36
432
原创 ES 核心--结构化搜索 term filter 搜索数据
结论：1、term filter/query : 根据输入值进行搜索(输入什么搜索什么)，对数字、布尔、日期天然支持2、text 类型需要在建索引时指定为not_analyzed （新版本用keyword就行）,才能用 term query3、相当于SQL中的单个where条件1、创建测试数据POST /forum/article/_bulk{"index" : {"_id":1}}{"articleId":"XHEX-A-3412-#f234","userId":1,"h..
2021-07-14 22:53:16
223
原创 ES 6.8.15 插件es-head、IK分词器安装、Kibana安装
elasticsearch-head 插件安装1、到gitHub下载es-head.crx：https://github.com/mobz/elasticsearch-head/tree/master/crx2、将es-head.crx文件后缀名".crx"改为“.rar”，然后解压到文件夹里，再通过Chrome“加载已解压的扩展程序”按钮加入文件夹3、启动ES集群查看插件是否可用插件IK分词器安装1、使用ES自带的elasticsearch-plugin 进...
2021-07-14 00:05:34
508
2
原创 ES 6.8.15 安装
前提条件：JDK版本1.7 以上 ； 非root用户安装1、创建普通用户用户名设置为hadoop 密码设置为 hadoop[root@node01 ~]# useradd hadoop[root@node01 ~]# passwd hadoopChanging password for user hadoop.New password: BAD PASSWORD: it is based on a dictionary wordBAD PASSWORD: is too simple.
2021-07-12 00:41:20
273
原创 Linux 环境下升级JDK 8 到 11
1、下载jdk 11 到本地上传到Linux下https://www.oracle.com/java/technologies/javase-jdk11-downloads.html-rw-r--r-- 1 root root 163646728 Jul 11 13:20 jdk-11.0.11_linux-x64_bin.rpm2、删除之前安装的Java目录1、删除之前的安装目录[root@node01 ~]# which java/usr/bin/java[root@node.
2021-07-11 16:44:51
2207
原创 HBase全分布式安装
节点规划 Node01 Node2 Node03 Node04 Master 1 regionservers 1 1 1 backup-masters 1 准备工作1、网络2、hosts3、ssh 免密登录设置 ssh-keygen ssh-copy-id -i .ssh/id_rsa.pub node14、时间：各个节点的时间...
2021-07-08 22:47:58
242
2
原创 Linux 时间服务器同步设置
之前未安装过ntp直接执行安装命令yum -y install ntp即可[root@node01 hadoop]# yum -y install ntpLoaded plugins: fastestmirrorDetermining fastest mirrorscentos-office
2021-07-07 23:50:30
172
1
原创 Linux ssh 免密钥登录
使用SSH密钥生成器生成密钥发送到需要免密钥登服务器，后续进行免密钥登录操作[root@node04 ~]# ssh node02The authenticity of host 'node02 (192.168.127.32)' can't be established.RSA key fingerprint is a2:75:cf:fa:de:84:80:02:f5:17:6d:28:f1:22:81:5b.Are you sure you want to continue connect
2021-07-07 22:55:02
98
原创 HBase Standalone（单机） 搭建
1、到官网下载对于的jar包https://www.apache.org/dyn/closer.lua/hbase/2.3.5/hbase-2.3.5-bin.tar.gz2、上传jar包到一个没有安装过zk的Linux上（因为单机模式下HBase 使用自带的ZK）[root@node01 software]# ll-rw-r--r-- 1 root root 275238861 Jul 5 21:48 hbase-2.3.5-bin.tar.gz3、解压hbase-2.3.5-bin
2021-07-07 00:08:52
126
原创 Hive HA (高可用)搭建
官方文档hive的搭建方式有三种，分别是1、Local/Embedded Metastore Database (Derby)2、Remote Metastore Database3、Remote Metastore Server一般情况下，我们在学习的时候直接使用hive –service metastore的方式启动服务端，使用hive的方式直接访问登录客户端，除了这种方式之外，hive提供了hiveserver2的服务端启动方式，提供了beeline和jdbc的支持，并且官网也提出
2021-07-04 10:02:36
1027
原创 Xshell 登录 Linux比较慢
将文件/etc/ssh/sshd_config 中配置项#UseDNS yes 修改为no即可1、找到文件路径[root@node04 ssh]# pwd/etc/ssh[root@node04 ssh]# lltotal 156-rw-------. 1 root root 125811 Nov 23 2013 moduli-rw-r--r--. 1 root root 2047 Nov 23 2013 ssh_config-rw-------. 1 root root 3
2021-07-03 22:38:29
97
原创 Hive 练习二--基站掉话率TOP10统计
给定一定的测试数据如下，统计其中掉话率前十的基站record_time imei cell ph_num call_num drop_num duration drop_rate net_type erl 2011-07-13 00:00:00+08 356966 29448-37062 0 0 0 0 0 G 0 2011-07-13 00:00:00+08 352024 2
2021-07-03 20:52:12
250
原创 Hive 优化（通用版）
hive优化Hive 优化核心思想：把Hive SQL 当做Mapreduce程序去优化以下SQL不会转为Mapreduce来执行：select仅查询本表字段where仅对本表字段做条件过滤Explain 显示执行计划：EXPLAIN [EXTENDED] queryhive> explain extended select * from student;OKExplainSTAGE DEPENDENCIES: ...
2021-07-03 10:33:25
738
原创 Hive Lateral View & 视图 & 索引
Hive Lateral View1、Lateral View用于和UDTF函数（explode、split）结合来使用2、首先通过UDTF函数拆分成多行，再将多行结果组合成一个支持别名的虚拟表3、主要解决在select使用UDTF做查询过程中，查询只能包含单个UDTF，不能包含其他字段、以及多个UDTF的问题4、语法：LATERAL VIEW udtf(expression) tableAlias AS columnAlias (',' columnAlias)Hive...
2021-07-01 22:33:46
339
2
原创 Hive 权限管理
官方页面Hive 三种授权模型： 1、Storage Based Authorization in the Metastore Server :基于存储的授权 - 可以对Metastore中的元数据进行保护，但是没有提供更加细粒度的访问控制（例如：列级别、行级别） 2、SQL Standards Based Authorization in HiveServer2 :基于SQL标准的Hive授权 - 完全兼容SQL的授权模型，推荐使用该模式...
2021-06-30 23:17:49
2313
原创 Hive运行方式&GUI接口
Hive运行方式：1、命令行方式cli(控制台模式) 2、脚本运行方式（生产环境主要使用这种模式） 3、JDBC方式：hiveserver2 4、Web Gui 接口(hwi、hue等)命令行（控制台模式），可以与hdfs交互--通过执行dfs 命令、与Linux交互-- 使用！开头1、与hdfs交互hive> dfs -cat /user/hive/warehouse/bucket_sample/000001...
2021-06-29 23:20:09
302
原创 Hive 分桶
Hive分桶官方文档分桶适用场景：抽样概念： 1、分桶表是对列值取哈希值的方式，将不同数据放到不同文件中存储2、对于hive中每一个表、分区都可以进一步进行分桶3、由列的哈希值除以桶的个数来决定每条数据划分在哪个桶中使用方式： 开启分桶支持：set hive.enforce.bucketing=true; 【默认：false；设置为true之后，mr运行时会根据bucket的个数自动分配reduce task...
2021-06-28 23:54:44
353
3
原创 Hive 参数
hive 参数、变量：hive中的参数、变量都是以命名空间开头 命名空间 读写权限 含义 hiveconf 可读写 hive-site.xml当中的各配置变量 例：hive --hiveconf hive.cli.print.header=true system 可读写 系统变量，包含JVM运行参数等 例：sys
2021-06-27 22:46:33
363
1
原创 Hive 练习一 单词统计、建表复合数据类型struct
1、复合数据类型struct，struct内部的数据可以通过DOT（.）来存取，例如，表中一列c的类型为STRUCT{a String; b int}，我们可以通过c.a来访问域a语法：struct_type : STRUCT < col_name : data_type [COMMENT col_comment], ...>1、准备测试数据[root@node04 data]# cd /opt/software/data/[root@node04 data]# vi s
2021-06-27 16:32:57
160
原创 Hive 函数
hive 内置操作符和函数或者 UDF一、内置运算符1、关系运算符 运算符 类型 说明 A = B 所有原始类型 如果A与B相等,返回TRUE,否则返回FALSE A == B 无 失败，因为无效的语法。 SQL使用”=”，不使用”==”。 A <> B 所有原始类.
2021-06-27 11:44:14
72
原创 Hive 客户端 Beeline 、IDEA|Eclipse使用JDBC连接hiveserver2
1、BelineBeeline 要与HiveServer2配合使用服务端启动hiveserver2客户的通过beeline两种方式连接到hive a、beeline -u jdbc:hive2://localhost:10000/default -n root b、beeline> !connect jdbc:hive2://:/<db>;auth=noSasl ...
2021-06-26 23:37:31
605
原创 Hive DML、SerDe
Hive DML1、加载文件到数据表，当使用LOCAL时是拷贝，使用HDFS上文件时时移动(原有数据会被删除)LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITIO
2021-06-26 18:02:50
101
原创 Hive 分区--静态分区、动态分区
Hive分区1、Hive 分区 partition：必须在表定义的时候指定对应的partition字段 单分区建表语句：create table day_table (id int, content string) partitioned by (dt string); 单分区表，按天分区，在表结构中存在id，content，dt三列 以dt为文件...
2021-06-26 12:29:44
1769
2
原创 Hive DDL操作
1、hive数据组成：Databases、Tables、Partitions、Buckets(orClusters) fei'q
2021-06-16 22:37:55
174
3
原创 Linux 下Hive 安装(Remote Metastore Database 单节点)
1、Linux下安装好mysql：Linux 下Mysql 安装
2021-06-14 16:14:22
278
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人