- 博客(8)
- 收藏
- 关注
RSS订阅原创 ES 加权重自定义排序
一、需求es搜索keyWord字段，需要给es指定字段weight加上系数进行排序二、建立测试索引 curl -XDELETE 'http://flxapp01:9200/local_service'curl -X PUT '192.168.1.96:9200/local_service?pretty' \-H 'Accept: application/json,text/plain, */*' \-H 'Content-Type: application/json;charset=UTF-8'
2022-04-14 15:10:43
4571
原创 Ranger 2.1.0集成Trino
Ranger2.1.0与trino 359集成一、基础环境jdk-11.0.12Maven 3.6.1Git 最新版二、下载ranger 2.1.0源码下载之后的目录为 ranger-6.3.4 本文目录地址是 /grid/dfs0/code/ranger-6.3.4三、修改pom.xml修改控制组件版本的pom.xml ranger-6.3.4/pom.xml一、presto的版本号改成359 <presto.ver...
2021-09-19 11:21:18
982
原创 hue 3.1.2 启用kerberose认证
hue安装与编译1.hue的编译1.1.下载hueLinux 系统是 Redhat 7.5下载hue 4.0以下的，因为需要python 3.0的版本，要重新把python进行升级这里我是从git上面上面下载 hue 3.1.2解压至/opt/hue1.2.编译hue安装依赖yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-de
2021-04-25 13:51:10
779
原创 scala利用maven把依赖包加入jar包
在scala 开发中，要把依赖包加入jar包中，下面把pom.xml的build配置如下分两部分1、把scala打包，用的是net.alchim31.maven 插件2、把依赖包加入jar包 <build> <plugins> <!--这里是将scala打包--> <plugin> <groupId>net.alchim31.maven</
2021-03-05 13:46:02
850
1
原创 利用flink从kafka接收消息，统计结果写入mysql，消息写入hive
利用flink从带有kerberos认证kafka中接收消息，每分钟统计各项指标，如每分钟接收的记录数，金额。在统计的时候要累计前一分钟的累计量。统计值 写入mysql，用来前端展示，同时要把消息存入hadoop平台，要在hive建立表现将把主要逻辑展示如下1、从指定的kafka的topic接收数据2、从指定的kafka的topic接收数据3、接收的数据写入hdfs，在hive中建外部表的方式，这样速度会更快4、程序外面还要加个定时任务，给外部表加分区 /** * 1、从指定的kafk
2020-12-31 08:38:42
1281
原创 带kerberos认证的kafka发送消息
向带有kerberos认证的kafka发送消息，要加入kerberos认证的配置文件:krb5.conf,kafka.jaas，加入环境变量中代码如下：一、生产者 MyProducer.javapackage com.tcloudata;import com.tcloudata.common.ChineseName;import com.tcloudata.model.Student;import org.apache.kafka.clients.producer.KafkaProducer;i
2020-12-30 09:50:25
811
原创 搭建本地YUM源服务
注意：1、本地yum源有多种搭建方法，这里介绍一种比较简单的方法，适合没有互联网的环境。2、一个集群中，只需要一个节点部署yum源服务，其他节点作为客户端，使用该服务即可；3、此文分为两部分，先是搭建yum源服务（一台节点执行），然后配置yum服务（其他节点执行）4、安装HDP大数据平台，总共有3个yum源：linux系统软件；ambari；hdp；一、搭建yum源服务1、准备linux光盘，注意最好和当前安装的linux内核一致；centos和redhat，查看linux内核方法cat /
2020-12-29 13:52:33
2984
原创 kafka启用Kerberos认证
kafka启用Kerberos认证1.环境准备1.1.建用户创建用户组 ywjk groupadd ywjk新增用户 useradd -g ywjk ywjk设置密码 passwd ywjk1.2.上传kafk压缩包从官网下载kafka压缩包，这里用的是kafka_2.11-0.10.2.2.tgz上传kafka压缩包，利用git客户端从windows客户端上传至每台linux主机，传至/home/ywjk目录下面 scp -r ./kafka_2.11-0.10.2.2.tgz
2020-12-28 17:50:24
8646
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人