- 博客(33)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 西安三日二夜自由行攻略记录
西安两日一夜自由行攻略记录注意事项景点优先级排序（非游行时间排序）路线选择和交通方式注意事项西安冬季气候干燥，注意每天适量补充水分。西安回民较多，信仰伊斯兰教，请尊重民族清真饮食习惯收票景点去之前最好提前晚上买票景点优先级排序（非游行时间排序）秦始皇兵马俑博物馆（最晚提前一天在网上订票，可美团 ）洒金桥美食街西安城墙（收票）西安钟鼓楼 钟楼鼓楼有联票，两个楼离得很近（收票）大唐不夜城大雁塔（收票） 在大慈恩寺内音乐喷泉大唐芙蓉园（收票）回民街小吃街华清宫（需提前订票）
2024-01-22 12:21:17
930
原创 Sqoop初次正式使用所遇疑难杂症疗方
SQOOP 疑难杂症疗方前言测试sqoop 能否连的上数据库这时第一个错误出现了疗方现在我们可以尝试抽数了这时我们可能会遇到第二个问题疗方成功后 我便用一个比较大点的表来进行测试所以第三个问题来了疗方前言因为在公司后台架构组件中已经安装好了Sqoop 所以我这里直接使用即可。可以使用此命令来查看是否有安装sqoop 和其版本sqoop version[hdfs@AnalytoolNode ~]$ sqoop version Warning: /opt/cloudera/parcels/CDH
2021-03-18 14:13:08
2089
原创 Kettle Spoon入门学习
Kettle Spoon入门学习什么是Kettle Spoon实例需求：连接oracle 实现表数据的全量抽取一我们需要先创建一个新的转换二我们将核心对象下的输入点开，找到表输入拖到主页面三双击主页面的表输入来进行设置输入数据现在输入源有了，我们要将数据输出到我们想放的位置。什么是Kettle Spoon实例需求：连接oracle 实现表数据的全量抽取一我们需要先创建一个新的转换我们可以双击主对象树下的转换或点击文件下的新建再点转换来进行创建二我们将核心对象下的输入点开，找到表输入拖到主页面
2020-12-15 10:21:11
3512
原创 Spark SQL
Spark SQL SparkSession创建Dataset/DataFrameDatasetDataFrameDataset/DataFrame API操作准备数据尝试将⽂本数据转变为DataFrameprintSchema 打印创建的表结构信息show 的数据打印在控制台selectselectExprwhere 类似SQL中的wherewithColumn 可以给datafra...
2020-04-15 15:32:13
980
1
原创 Spark RDD
Spark RDDSpark RDD详解开发环境RDD创建Parallelized Collections 并行集合External Datasets 外部数据库wholeTextFiles 整个文本文件newAPIHadoopRDDMySQLHbaseRDD Operations 算子Transformations 转换算子√map(func )√filter(func )√flatM...
2020-04-14 18:08:24
461
原创 Spark概述
Spark概述概述计算流程常⻅疑问概述Spark是⼀个快如闪电的统⼀分析引擎（计算框架）⽤于⼤规模数据集的处理。Spark在做数据的批处理计算，计算性能⼤约是Hadoop MapReduce的10~100倍，因为Spark使⽤⽐较先进的基于DAG 任务调度，可以将⼀个任务拆分成若⼲个阶段，然后将这些阶段分批次交给 集群计算节点处理。Spark在设计理念中也提出了 One stack ru...
2020-04-14 09:50:18
271
转载 HashMap梳理
转载：原文链接: https://blog.csdn.net/qq_35190492/article/details/103467732.HashMap说到链表，你想知道新的Entry节点在插入链表的时候，是怎么插入的么？那么什么时候开始扩容那：扩容为什么要重新Hash呢，直接复制过去不香么？为啥之前用头插法，java8之后改成尾插了呢？头插是JDK1.7的那1.8的尾插是怎么样的呢？java...
2020-04-13 21:13:20
263
原创 Flink 窗口计算Joining 链接
Joining 链接Window JoinTumbling Window Join 滚动窗口joinSliding Window Join 滑动窗⼝连接Session Window Join 会话窗⼝连接Interval Join(区间join)Window Join窗⼝join将共享相同key并位于同⼀窗⼝中的两个流的元素联接在⼀起。可以使⽤窗⼝分配器定义这些窗⼝，并根据两个流中的元素...
2020-04-13 14:58:54
505
原创 Flink Windows 窗口计算
Flink WindowsKeyed WindowsWindow Lifecycle 窗口生命周期Keyed vs Non-Keyed WindowsWindow Assigners 窗口指定Tumbling Windows 滚动窗口Sliding Windows 滑动窗口Session Windows 会话窗口Global Windows 全局窗口Window FunctionsReduc...
2020-04-13 14:15:06
1350
原创 Flink快速回忆之State & Fault Tolerance
State & Fault ToleranceFlink是⼀个基于状态计算的流计算服务。Flink将所有的状态分为两⼤类: keyed state(键控状态) 与 operatorstate（运算符状态） .所谓的keyed state指的是Flink底层会给每⼀个Key绑定若⼲个类型的状态值，特指操作KeyedStream中所涉及的状态。所谓operator state指的是⾮keye...
2020-04-12 18:00:19
443
原创 Flink集成Kafka 并将评估状态存入状态让外界查询
Flink集成Kafka 并将评估状态存入状态让外界查询首先需要在工具类上添加两个get方法用来获取应用信息应用名登录用户名来作为状态键有关这个工具类请看前篇博客《接风控责任链之测试与数据抽取工具类》 //取登录应用信息应用名 public static String getUserIdentify(String input){ //指定一个验证数据对象 ...
2020-04-12 10:43:42
456
原创 NoSuchMethodError异常解决
这网上大多都是说jar包没有引或者没有引对,我看了下都引了,也都没错因为之前运行的好好的.一个好哥们说我之前有复制过一个项目里面有方法和我这个路径一样肯能是包冲突，两个包的相同路径有相同的方法，不知道调哪一个于是我便点进去异常下的第一个类,把所有的导包删除重新导了一边我之前复制的那个项目已经删除了再运行果然没错了...
2020-04-09 11:09:32
794
原创 Flink快速回忆之Operators（运算符）
Operators（运算符）DataStream Transformations （数据流的转换）DataStream → DataStreamMapTakes one element and produces one element. A map function that doubles the values of the input stream:获取一个元素并生成一个元素。一个映...
2020-04-08 16:58:45
677
原创 Flink快速回忆之Streaming (DataStream API)
Streaming (DataStream API（数据流接口）)DataSource（数据源）数据源是程序读取数据的来源，⽤户可以通env.addSource(SourceFunction),将SourceFunction添加到程序中。Flink内置许多已知实现的SourceFunction，但是⽤户可以⾃定义实现SourceFunction （⾮并⾏化的接⼝）接⼝或者实现 Parallel...
2020-04-08 13:51:39
483
原创 Flink快速回忆之概述和部署
概述Flink是构建在数据流之上的有状态计算的流计算框架，通常被⼈们理解为是 第三代 ⼤数据分析⽅案。概念Task和Operator Chain（阶段和运算链）Flink是⼀个分布式流计算引擎，该引擎将⼀个计算job拆分成若⼲个Task(等价于Spark中的Stage)，每个Task都有⾃⼰的并⾏度，每个并⾏度都由⼀个线程表示，因为⼀个Task是并⾏执⾏的，因此⼀个Task底层对应⼀系列的...
2020-04-07 21:09:17
395
原创 接风控责任链之测试与数据抽取工具类
接风控责任链之测试因为我们在之前的责任里引需求有用到一个记录用户登录的历史状态的一个实体类/** * 记录是用户的登录的历史状态 */public class HistoryData implements Serializable { private Set<String> historyCities; //登录过的历史 城市集合 private Set<...
2020-04-04 08:54:23
275
原创 登录位移速度评估（算法用到：球⾯距离）
登录位移速度评估此情况主要是对用户的登录地址在短时间出现在不同地方来进行评估是否存在风险！评估这个我们需要知道客户两次不同登录地址的距离，进行判断在两次登录的间隔时间里客户有没有可能利用现在的交通工具到达！距离是通过经纬度来进行计算的，计算是保证准确的但存不存在误差主要还是看给过来的数据是否存在误差下面问题来了，我们如何来计算两个经纬度之间的距离那！球面距离公式百度百科我们进行简单推...
2020-04-03 09:44:29
303
原创 ⽤户输⼊特性评估(算法用到了欧式距离公式)
⽤户输⼊特性评估算法推理传过来的用户输入特性，是用户输入用户名，密码，验证码各自所用的时间，我们从客户历史登入成功的这些输入特性中利用算法来评估出一个标准范围，来判断以后的输入是否存在非本人之类的风险情况！我们可以将用户的特性都看作如上图坐标上的一个点，输入特性不同，点的位置也就不同，以一个圆为标准，圆内为正常圆外为异常！（之所以用圆而不用正方形之类的是因为圆从圆心无论到哪个方向的边都...
2020-04-02 21:01:23
586
1
原创 密码相似度评估（用到余弦相识度的数学算法知识）
密码相似度评估首先是对余弦相识度的数学算法知识的回忆首先我们从余弦函数说起30度45度60度90度的余弦、正切、正弦、余切所对应的值如图所示：余弦定理在二维的坐标下对比的余弦把OA²+OB²-AB² / 20A0B 公式改为坐标特征来计算根据勾股定理OA²= X11² + X12²OB²=X21² + X22²AB²=（X12-X22)² + (X21-X11...
2020-04-02 09:39:40
1144
原创 JAVA设计模式之责任链模式案例之风控评估因子的实现
责任链模式顾名思义，责任链模式（Chain of Responsibility Pattern）为请求创建了一个接收者对象的链。这种模式给予请求的类型，对请求的发送者和接收者进行解耦。这种类型的设计模式属于行为型模式。在这种模式中，通常每个接收者都包含对另一个接收者的引用。如果一个对象不能处理该请求，那么它会把相同的请求传给下一个接收者，依此类推。介绍意图：避免请求发送者与接收者耦合在一起...
2020-04-01 19:42:05
880
2
原创 Spring Cloud之Eureka与Spring Boot项目的集成 （单机版和集群版）
Eureka与Spring Boot的集成单机版首先： 创建一个新的项目 作为Eureka的注册中心服务器需要导入的有 <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifa...
2020-03-31 09:30:33
447
原创 登录风险：获取⽤户的输⼊特征（输⼊每个控件所需时⻓ ms）
登录风险控制需求： 获取客户在登录时每次输入的时长，如果相差大，证明可能存在风险！对输入特征进行采集首先是获取输入所在的标签对象<script> //输入特征采集事件 因为需要等EZui渲染结束所以要加个延时 var timeout= setTimeout(function () { $("#user_login_form").inputFe...
2020-03-28 09:46:38
280
原创 SpringBoot 遗忘后的简单快速回忆之拦截器(和处理用AJAX 异步请求，拦截器的重定向页面无效的问题)
SpringBoot的拦截器其实拦截器的原理很简单，就是利用AOP 的原理，来根据需求判断程序是继续执行，还是跳到另外的方面！通常大多用于判断用户是否登录，是否让其访问正常数据正常情况下，拦截器不会拦截静态资源，Spring Boot 的默认静态目录为 resources/static，该目录下的静态页面、JS、CSS、图片等不会被拦截其实SpringBoot 用的拦截器和我们学的Spr...
2020-03-26 22:39:31
849
原创 SpringBoot 遗忘后的简单快速回忆之自动配置 和自定义属性注入（在最后）
SpringBoot的自动配置Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。通过这种方式，Spring Boot致力于在蓬勃发展的快速应用开发领域(rapid application development)成为领导者。springboot=sp...
2020-03-22 21:56:50
525
原创 FastDFS 分布式文件系统安装与集成最后并与SpringBoot 集成文件上传与下载
FastDFS 分布式文件系统安装与集成什么是分布式文件系统分布式文件系统（Distributed File System） 是指文件系统管理的物理储存资源不一定直接连接本地节点上，而是通过计算机网络与节点相连。分布式文件系统的出现缘由 计算机用文件系统来进行储存和管理数据，而在如今信息爆炸的时代，数据以指数倍的增长，只靠单纯的增加硬盘数量来扩展计算机的文件系统的储存容量无论是在容量大小，容...
2020-03-22 10:46:41
1498
原创 Mysql的读写分离（SparingBoot 程序自我设计实现版）
SparingBoot 程序自我设计实现版的读写分离需先进行主从复制请参考另一篇《Mysql的主从复制和读写分离（中间件Mycal版）》思路所谓的手写读写分离，需要用户自定义一个动态的数据源，该数据源可以根据当前上下文中调用方法是读或者是写方法决定返回主库的链接还是从库的链接。这里我们使用Spring提供的一个代理数据源AbstractRoutingDataSource接口这是Abstr...
2020-03-19 21:19:59
204
原创 Mysql的主从复制和读写分离（中间件Mycal版）
Mysql的主从复制和读写分离主从复制1,修改mysql的配置文件[root@localhost mysql]#vim /etc/my.cnf2.分别在配置文件中加入如下配置 server-id=1 log-bin=mysql-bin #开启二进制日志文件的名字 log-slave-updates #从机随着日志文件的变化而变化 slave-skip-errors=a...
2020-03-19 20:35:04
499
原创 SpringBoot 遗忘后的简单快速回忆之集成 redis和开启Mybatis二级缓存
SpringBoot redis Mybatis二级缓存SpringBoot 集成redis导入依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</arti...
2020-03-18 20:55:42
168
原创 SpringBoot 遗忘后的简单快速回忆之上传下载
文件的上传和下载准备工作1, 依赖 <dependency> <groupId>commons-fileupload</groupId> <artifactId>commons-fileupload</artifactId> <version>1.3...
2020-03-17 21:22:20
128
原创 SpringBoot 遗忘后的简单快速回忆之环境搭建与常见注解
搭建SpringBoot环境创建maven 项目后1，创建入口类@MapperScan(basePackages = "com.baizhi.dao" ) //把dao层交给工厂管理@SpringBootApplication//标识入口类的注解public class Applincation { public static void main(String[] args)...
2020-03-17 19:38:16
466
原创 Hadoop简单回忆
hadoop 学习后的简单梳理，也是为后面复习能更好的寻回做索引Hadoop 主要就是用来解决大数据的存储和计算问题的！那么什么是大数据那？数据量级很大的应用处理，数据集在TB及以上，或日增量在/G的数据！所以大数据的特点便是4v，何为4v?1 Vomule(大量)：数据量大至少为TB或日增GB以上的2 Variety (多样)：数据多样，结构化数据，非结构化数据，半结构化数据!3 ...
2020-01-19 20:34:00
489
FastDFS文件服务器安装包.zip
2020-04-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人