- 博客(52)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 SpringBoot日志文件配置
目录一、使用logback异步输出1、logback-spring.xml二、使用log4j21、log4j2.yml一、使用logback异步输出1、logback-spring.xml<?xml version="1.0" encoding="UTF-8"?><!-- scan:当此属性设置为true时，配置文件如果发生改变，将会被重新加载，默认值为true --><!-- scanPeriod:设置监测配置文件是否有修改的时间间隔，如果没有给出时间单位，默认单位
2021-07-30 19:54:32
580
原创 SpringBoot整合ES（异步HttpClient和Http连接池）
目录知识点一、引入pom二、配置文件 application-local.yml三、config包1、ElasticSearchProperty2、ElasticSearchConfig3、HttpClientPoolConfig4、同步HttpClient5、WebServerConfiguration三、utils包1、EsUtils四、批量更新和下载左右1、Service知识点RestHighLevelClient使用异步HttpClient创建HTTP连接池ES 游标使用一、引入p
2021-07-30 19:39:00
3137
原创 Tomcat配置文件Server.xml
这里写自定义目录标题欢迎使用Markdown编辑器欢迎使用Markdown编辑器<!-----------------------------------------------------------------------------------------------><!-- 启动Server ***在端口8005处等待关闭命令*** 如果接受到"SHUTDOWN"字符串则关闭服务器 --><Server port="8005" s
2022-05-13 13:49:29
220
转载 root用户和普通用户免密切换配置
免密切换1、免密切换root用户的方法2、使用ssh或telnet登陆后如何自动切换root1、免密切换root用户的方法su rootvim /etc/pam.d/su#%PAM-1.0auth sufficient pam_rootok.so# Uncomment the following line to implicitly trust users in the "wheel" group.#将这一行的#去掉，取消注释auth
2021-11-05 20:46:58
1252
原创 Java程序—各坐标转换
Gps84、Gcj02、Bd09坐标之间转换坐标转换坐标转换package cn.com.cennavi.roadweather.utils;import lombok.extern.slf4j.Slf4j;import org.apache.http.impl.client.CloseableHttpClient;import org.apache.http.impl.client.HttpClients;/** * @author: zmm * @date: 2021/10/12 1
2021-10-12 10:48:00
476
原创 linux解压rar文件
一、安装rar1、下载rarwget https://www.rarlab.com/rar/rarlinux-x64-6.0.2.tar.gz2、解压tar -zxvf rarlinux-x64-6.0.2.tar.gz3、编译cd rarmake4、添加环境变量vi /etc/profileexport RAR_HOME=/data/apps/rarexport PATH=.:$JAVA_HOME/bin:$JRE_HOME/bin:$RAR_HOME:$PATHsou
2021-09-17 10:44:40
3174
原创 nginx配置记录
Nginx配置文件#user nobody;worker_processes 1;#error_log logs/error.log;#error_log logs/error.log notice;#error_log logs/error.log info;#pid logs/nginx.pid;events { worker_connections 1024;}http { include mime.types;
2021-08-27 14:45:38
79
原创 SpringBoot整合Redis（单机+集群版）
1、pom引入 <!-- redis --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> <exclusions>
2021-04-01 16:44:30
369
原创 spark访问ES，HttpConnectionManager找不到的问题
1、导入es-spark依赖 <!-- elasticsearch-spark-20 --> <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch-spark-20_2.11</artifactId> <version>7.7.
2021-03-08 11:32:35
251
转载 SpringBoot的工具类中读取配置文件中的变量
刚才帮一个朋友解决了一个很简单的问题，相信很多朋友可能会遇到。关于Java类读取 application.yml 配置文件里的值的问题。目前我所了解的主要是三种方式：① @Value("${xxxx}")② ConfigurationProperties 配置③ 通过 Enviroment 获取今天我们这里只介绍第三种该同学的需求是在 JdbcUtil 里获取 application.yml 里的数据源信息(url、账号、密码)解决代码如下：import org.springframewo
2021-01-13 15:19:13
1450
1
原创 简单4部轻松搞定服务器的时区设定
1、移除默认纽约时区的文件rm -rf /etc/localtime2、更改为+8上海时区cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime3、同步时间ntpdate -u ntp1.aliyun.com4、查看同步后的时间date "+%Y-%m-%d %H:%M:%S"
2021-01-11 10:50:07
996
原创 Docker安装、Dockerfile编写及其他常用命令
一、docker安装CentOS 7服务器1、更新系统软件包安装依赖yum updateyum install yum-utils device-mapper-persistent-data lvm22、将Docker稳定存储库添加到至系统yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo3、安装最新版本的Docker CE（社区版）yum install dock
2020-10-15 21:05:02
505
转载 线程池原理
文章目录线程池由两个核心数据结构组成：任务执行流程拒绝策略（RejectedExecutionHandler）关闭线程池线程池的状态线程池的线程是如何做到复用的。线程池是如何做到高效并发的线程池由两个核心数据结构组成：1）线程集合（workers）：存放执行任务的线程，是一个HashSet；2）任务等待队列（workQueue）：存放等待线程池调度执行的任务，是一个阻塞式队列BlockingQueue；线程池有几个核心参数：在这里插入图片描述任务执行流程1）线程池中线程数量小于corePoo
2020-10-15 10:29:32
99
原创 spring boot项目中添加swagger
文章目录一、引入pom二、启动类添加注解三、编写swagger配置文件四、在每个controller中添加 ApiOperation一、引入pom <!-- swagger --> <properties> <swagger2.version>2.9.2</swagger2.version> </properties> <dependency> &l
2020-10-15 09:55:37
658
原创 基于spark.ml的GBDT回归模型及评价指标
文章目录一、GBDT是什么？二、使用步骤1.引入库2.读入数据3、剔除null数据、重命名列、切分4、创建特征向量5、创建GBDT回归模型 、创建管道6、创建回归评估器7、超参数调整，创建网格搜索8、训练预测模型9、创建模型评价方式10、获取最佳模型，并转换三、工具类一、GBDT是什么？右键百度，这里只贴创建流程的代码。二、使用步骤1.引入库代码如下：import com.cennavi.correlations.domain.{EvaluatorUtils, SparkUtils}im
2020-09-19 23:32:43
1498
原创 scala、java读取hdfs文件，获取文件名
import java.io.{BufferedReader, InputStreamReader}import java.net.URIimport org.apache.hadoop.conf.Configurationimport org.apache.hadoop.fs.{FSDataInputStream, FileSystem, Path}import scala.collection.mutable.ArrayBufferobject IpRulesLoaderr8 { var
2020-08-19 09:48:01
1586
原创 spark es的新增索引值（地理空间坐标）
目录一、新建Mapping二、导入ES依赖三、程序实现1、创建spark入口、创建ES客户端2、读取数据，处理前几行头信息3、提取属性值4、将坐标拼成WKT文本5、将属性拼接成对象（1） XContentBuilder 形式（2）Gson的JsonObject 形式（3）fastJson的JSONObject 形式6、关闭资源一、新建Mapping可以在Kibana中建好mapping，也可以在api中写好，执行程序的时候创建。这里在Kibana已经创建好PUT /realweather{
2020-08-16 15:09:17
798
转载 maven依赖中scope标签的详解
目录前言scope的分类1.compile2.test3.runtime4.provided5.systemscope的依赖传递ITOO实例前言最近在做itoo的pom优化工作，发现对于maven依赖管理中的scope标签还是有不明白的地方，所以今天就来总结一下这方面的知识，scope在maven的依赖管理中主要负责项目的部署maven的哲学在上次技术分享的时候也提到了：约定大于配置，所以在maven中，很多内容都有默认值，scope的默认值是compile，那么scope还能有哪些选项呢？scop
2020-07-31 09:58:13
638
原创 SpringBoot建立SSH通道整合S3Elasticache（Redis），并实现Redis多库切换
目录一、背景1、问题2、解决二、建立SSH通道1、pom引入依赖2、创建sshconfig3、SSHConnection 程序三、Spring boot整合Redis1、引入依赖2、配置信息3、RedisConfig的编写（切库处理配置）4、Redis操作的工具类四、两个大坑1、 长时间未操作，连接重置2、长时间未操作，无法获取resource五、总结一、背景使用Spring Boot自带的redis框架，访问S3的Elasticache（Redis），并从Redis的多个DB中同时取数据。1、问题
2020-07-26 13:35:19
2621
10
原创 java读取zip文件，并将json中的反转义斜杆去除
一、pom文件 <!-- org.apache.commons/commons-text --> <dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-text</artifactId> <version>1.8</version
2020-07-17 14:40:20
600
1
原创 spring-boot-starter-data-elasticsearch整合ES的配置文件的编写
文章目录一、引入依赖二、编写配置文件一、引入依赖 <!-- es --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-elasticsearch</artifactId> </dependen
2020-06-04 11:20:19
2484
原创 Spark的JVM调优
文章目录一、现象内存不充足的时候，出现的问题二、降低cache 操作的内存占比三、调节executor 堆外内存与连接等待时长（1）调节executor 堆外内存（2）调节连接等待时长一、现象堆内存存放我们创建的一些对象，有老年代和年轻代。理想情况下，老年代都是放一些生命周期很长的对象，数量应该是很少的，比如数据库连接池。我们在spark task 执行算子函数（我们自己写的），可能会创建很多...
2020-04-12 21:30:35
173
原创 Hive的企业级调优
文章目录一、本地模式二、表的优化1、小表、大表Join2、MapJoin3、Group By（1）开启Map端聚合参数设置（2）原理：4、Count(Distinct) 去重统计5、笛卡尔积6、行列过滤7、动态分区调整三、数据倾斜1、 合理设置Map数（1）通常情况下，作业会通过input的目录产生一个或者多个map任务（2）是不是map数越多越好？（3）是不是保证每个map处理接近128m的文件...
2020-03-29 11:12:04
253
原创 Flink的执行计划图
文章目录一、执行图二、图演变过程1、StreamGraph2、JobGraph3、ExecutionGraph4、物理执行图一、执行图Flink 中的执行图可以分成四层：StreamGraph -> JobGraph -> ExecutionGraph -> 物理执行图。StreamGraph：是根据用户通过 Stream API 编写的代码生成的最初的图。用来表示程序...
2020-03-28 21:40:59
3441
原创 maven中如何指定编译时的jdk版本?
最近在项目中遇到使用maven构建项目，项目编译时，报错-jdk版本错误。这时我们应该指定编译的JDK版本，在项目依赖中添加以下信息： <!-- 定义了一些常量 --> <properties> <maven.compiler.source>1.8</maven.compiler.source> &l...
2020-03-19 21:43:26
3036
原创 Flink写出数据到Hbase的Sink
文章目录一、MyHbaseSink1、继承RichSinkFunction<输入的数据类型>类2、实现open方法，创建连接对象3、实现invoke方法，批次写入数据到Hbase4、实现close方法，关闭连接二、HBaseUtil工具类一、MyHbaseSink1、继承RichSinkFunction<输入的数据类型>类public class MyHbaseSin...
2020-03-18 22:58:52
5446
4
原创 Flink写出数据到 MySql 控制事务，保证Exactly_Once
文章目录一、MySql Sink二、控制事务代码1、主线代码2、Druid 数据库连接池类一、MySql Sink要想使用TwoPhaseCommitSinkFunction，存储系统必须支持事务Mysql Sink继承TwoPhaseCommitSinkFunction抽象类，分两个阶段提交Sink，保证Exactly_Once：①做checkpoint② 提交事务二、控制事务...
2020-03-18 09:09:14
2639
6
原创 Flink的是如何实现exactly_once的？（CheckPoint详解）
文章目录一、Exactly_Once（写且仅写一次）二、以FlinkKafkaProducer为例解析1、CheckPoint 源码详解1.1、 CheckpointedFunction中有两个方法：1.2、 CheckpointListener中有一个方法：2、一图总结2.1、流程图2.2、步骤一、Exactly_Once（写且仅写一次）目前可以实现exactly_once的不多：sou...
2020-03-18 00:00:58
1572
原创 Flink处理数据库中的业务数据——将主表、从表做关联（Left Out Join）
文章目录一、需求1、需求说明2、数据准备二、分析二、技术点三、Join架构四、代码实现1、一、需求1、需求说明在各种各样的系统中，都有订单数据表订单表：订单主表、订单明细表 订单主表： 订单id、订单状态、订单总金额、订单的时间、用户ID 订单明细表： 订单主表的ID、商品ID、商品的分类ID、商品的单价、商品的数量统计某个商品分类的成交金额...
2020-03-17 09:03:54
4318
6
原创 Flink之详解InnerJoin、leftJoin以及窗口延迟时间的问题
文章目录以案例驱动对join的认知一、前提：二、InnerJoin代码以案例驱动对join的认知一、前提：要想两个数据流进行Join，必须对两个流数据划分相同的窗口，在同一个窗口中，进行数据的Join连接。这里使用EventTime，划分滚动窗口二、InnerJoin代码package cn._51doit.day10.join;import org.apache.flink....
2020-03-16 11:55:56
5131
1
原创 Flink之对EventTime的窗口的迟到数据再接收
文章目录二、代码二、代码package cn._51doit.day10;import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.java.tuple.Tuple;import org.apache.flink.api.java.tuple.Tuple2;impo...
2020-03-15 20:15:27
591
原创 Flink之实时统计指定时间段内热门商品的TopN（双11一小时内的热门品牌排行榜）
文章目录一、需求说明1、以案例驱动理解二、技术点三、代码实现（一） 比较捞1、调用底层的Process（可做类似map的操作），将Json字符串解析成MyBehavior对象2、提取EventTime,转换成Timestamp格式,生成WaterMark3、按照指定时间分组4、把分好组的数据，划分窗口：假设窗口总长10分钟， 步长1分钟滑动一次5、窗口内的数据进行聚合，拿出窗口Star时间和窗口E...
2020-03-14 23:20:06
4717
2
原创 Flink实时数据的预处理-架构-分主题写入Hdfs（文本和Parquet格式）
文章目录一、架构图二、数据及思路三、代码1、LogBean2、主线代码3、将数据转换成json的，并转换成 bean，然后关联地理位置维度4、将数据写入到hdfs代码一、架构图① flume将埋点日志采集到kafka中② 从kafka中拉取数据，完成数据的过滤、维度的关联、主题的拆分③ 再分主题写回至kafka④ 将分好主题的数据存储至HDFS中二、数据及思路2019-02-2...
2020-03-13 23:10:19
1793
原创 Flink之多维数据立方体的建立及自定义RedisSink
文章目录一、需求二、代码实现1、主线代码2、ActivityBean3、Constant 自定义的常量4、自定义的RedisSink一、需求有以下数据：用户ID,活动ID,时间,事件类型,省份u001,A1,2019-09-02 10:10:11,1,北京市u001,A1,2019-09-02 14:10:11,1,北京市u001,A1,2019-09-02 14:10:11,2,北京...
2020-03-13 21:53:42
690
原创 Flink中BloomFilter（布隆过滤器）和ValueState的结合使用
文章目录一、需求二、分析1、人数2、点击次数3、技术点三、代码实现1、数据的读取，做切割处理2、按照活动ID和事件类型分组3、调用process，自定义ValueState,对数据进行统计一、需求有以下数据：用户ID,活动ID,时间,事件类型,省份u001,A1,2019-09-02 10:10:11,1,北京市u001,A1,2019-09-02 14:10:11,1,北京市u001...
2020-03-13 08:34:44
7637
8
原创 Flink中Broadcast State（广播） 的理解和使用-nclk
文章目录一、Flink中广播Broadcast State1、使用目的2、使用方法二、需求1、需要广播的字典数据2、要关联字典的费广播数据三、代码深入理解1、将广播的流处理，广播到各个subTask中2、拉取非广播的流，将两者connect在一起3、调用底层的process api，将广播流和非广播流实现关联四、注意1、nc命令一、Flink中广播Broadcast State1、使用目的是...
2020-03-12 01:02:40
1665
原创 Flink之异步I/O案例（二）异步查询MySQL数据库
文章目录一、需求思考1、通过异步查询Mysql中的以下数据：2、思考二、代码实现1、添加依赖2、主线代码3、异步查询的MySql的Function四、技术点一、需求思考1、通过异步查询Mysql中的以下数据：2、思考Mysql不支持异步查询，那该怎么办呢？创建线程池和数据库连接池，来实现异步的并发查询。这样异步查询中，一个请求就是一个线程，一个请求对应一个连接。二、代码实现1...
2020-03-12 00:09:56
2472
3
原创 用户画像篇·模型标签之用户行为性别预测
文章目录一、性别预测问题二、特征数据选取（1）比如选取以下的用户特征数据：（2）经验样本数据（3）待测试数据三、算法选择·朴素贝叶斯问题：处理：四、代码详解（1）工具类（2）主代码一、性别预测问题用户注册时，所填写的性别，存在大概率的随意性；不能完全作为用户画像的性别参考；所以在无法通过直接手段获得用户真实性别的情况下，需要通过用户的各种行为特征，来对用户的性别进行预测。二、特征数据...
2020-03-07 21:59:07
4026
hadoop-commond(hadoop.dll)各个版本.rar
2020-08-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人