SW_Pigzone-CSDN博客

转载【转载】ES 在使用keyword和number时的注意及原理

https://elasticsearch.cn/article/446详见链接

2019-10-31 10:58:43 979

原创 SpringAOP日志管理的两种使用方法

关于SpringAOP日志管理的使用方法在需要对业务日志进行特殊规则统一管理的时候，Slf4j提供的全局日志配置就不那么好使用了，这时候我们可以使用Spring的AOP特性来截断各个方法或接口，将其返回值或处理过程做统一管理，再落到日志中。首先我们定义一个实体用来落日志，这个实体最后打印出来我希望字段是固定顺序的，字段为空则不打印，要巧妙的利用阿里的fastJson。impor...

2019-09-24 10:40:04 247

原创一个保证输入有序集合经过黑盒后仍然有序的工具类

推荐业务经常会给出一个根据算法、规则等得到的有序id集合，web层需要调取其他的后端服务来拼接成为完整的dto实体，而其他的后端服务通常是黑盒的，而且由于缓存的存在以及sql执行的无序性，返回的结果的顺序很可能和推荐业务给出的结果不一样，那么就需要写很多复杂的逻辑来转换了，这非常麻烦，这里写了一个Reorder工具类，用来重新排序。/** * 保证集合有序性和输入序列一样 ...

2019-09-02 18:52:13 142

原创 es查询用抽象工具类-JAVA

为精简目前查询es用到的方法，以及方便收归管理和提升代码规范，现抽象出一个工具类，用于搜索和推荐业务的查询。老代码：List<BiggieCatBean> biggieCatList = new ArrayList<>();// try {// SearchResult searchResult = jestClient.execute(searchB...

2019-08-29 11:34:19 753

原创服务可用监控重启脚本

服务器上部署了一个没有运维接入健康检查的服务，如何通过自己书写的脚本进行监控该服务是否正在运行，并在服务崩溃后重启呢？check_reboot.pyimport subprocessimport osimport datetime# 这里grep后接指定服务大概的名字res = subprocess.Popen("ps aux|grep predict",stdout=subpr...

2019-08-02 09:36:44 201

原创查询es内数据内容的脚本，可配置化

提供给非技术人员，用于查询品类内各个筛选key和筛选值的次数，用于数据分析，话不多说，直接上代码from optparse import OptionParserimport time,datetimeimport requests,jsonparser = OptionParser()parser.add_option("-a","--add_group",dest = "gr...

2019-07-24 11:26:34 699

原创清除Redis中未设置过期时间的key

线上redis有一些历史遗留的未设置过期时间的key，导致redis空间占用较多，DBA告警后要我们自己清除，于是我写了一个脚本在不影响线上服务的情况下清除（使用keys命令会导致请求hang住）import sysimport redisimport ospool = redis.ConnectionPool(host = "host_name",password = "pass_w...

2019-05-28 16:19:14 2937

原创 MapReduce实现商品推荐算法（用户购买向量*商品同现矩阵）

基于Hadoop的商品推荐系统推荐结果=用户的购买向量*物品的相似度矩阵物品的相似度：物品的共现次数（也可以使用欧氏距离等）预备工作1.项目名：GRMS2.添加Maven依赖：pom.xml3.创建包：com.briup.bigdata.project.grms|--step1|--step2|--...|--utils...

2018-04-17 10:54:58 2653 3

原创 Hadoop的HDFS集群和YARN集群的搭建过程

安装Hadoop单机模式： 1.在家目录下创建“bigdata”目录。 2.将jdk.tar.gz和hadoop.tar.gz移动到家目录下的bigdata目录中。 3.解压jdk.tar.gz。 bigdata>tar zxvf jdk.tar.gz 4.给jdk1.8.0_152创建软链接到jdk ...

2018-04-13 15:25:02 977

原创使用Hbase Shell和Java API分别进行Hbase的增删改查操作

a. Hbase Shell//初始操作//创建表//往该表内插入数据//查看该表内数据//查找某一行元素//修改001中zoujunyuan:hp 的值//删除zhujuan:mp这一列 JAVA API方法package com.briup.bigdata.project.grms;import java.io.IOException;import java.util.ArrayL...

2018-04-13 15:22:04 473

原创 HBase集群的搭建过程

a.单机模式1.解压hbase-1.2.6.tar.gz到~/bigdata ~>tar zxvf hb.gz -C ~/bigdata2.创建软链接 ln-snf /home/zhujuan/bigdata/hbase-1.2.6 /home/zhujuan/bigdata/hbase3.配置环境变量 ~>vi .profile ...

2018-04-13 15:18:10 202