weixin_46001623的博客

西安两日一夜自由行攻略记录注意事项景点优先级排序（非游行时间排序）路线选择和交通方式注意事项西安冬季气候干燥，注意每天适量补充水分。西安回民较多，信仰伊斯兰教，请尊重民族清真饮食习惯收票景点去之前最好提前晚上买票景点优先级排序（非游行时间排序）秦始皇兵马俑博物馆（最晚提前一天在网上订票，可美团 ）洒金桥美食街西安城墙（收票）西安钟鼓楼 钟楼鼓楼有联票，两个楼离得很近（收票）大唐不夜城大雁塔（收票） 在大慈恩寺内音乐喷泉大唐芙蓉园（收票）回民街小吃街华清宫（需提前订票）

linux mysql 简易安装方式

linux 双网卡设置，jdk 安装

SQOOP 疑难杂症疗方前言测试sqoop 能否连的上数据库这时第一个错误出现了疗方现在我们可以尝试抽数了这时我们可能会遇到第二个问题疗方成功后 我便用一个比较大点的表来进行测试所以第三个问题来了疗方前言因为在公司后台架构组件中已经安装好了Sqoop 所以我这里直接使用即可。可以使用此命令来查看是否有安装sqoop 和其版本sqoop version[hdfs@AnalytoolNode ~]$ sqoop version Warning: /opt/cloudera/parcels/CDH

Kettle Spoon入门学习什么是Kettle Spoon实例需求：连接oracle 实现表数据的全量抽取一我们需要先创建一个新的转换二我们将核心对象下的输入点开，找到表输入拖到主页面三双击主页面的表输入来进行设置输入数据现在输入源有了，我们要将数据输出到我们想放的位置。什么是Kettle Spoon实例需求：连接oracle 实现表数据的全量抽取一我们需要先创建一个新的转换我们可以双击主对象树下的转换或点击文件下的新建再点转换来进行创建二我们将核心对象下的输入点开，找到表输入拖到主页面

Spark SQL SparkSession创建Dataset/DataFrameDatasetDataFrameDataset/DataFrame API操作准备数据尝试将⽂本数据转变为DataFrameprintSchema 打印创建的表结构信息show 的数据打印在控制台selectselectExprwhere 类似SQL中的wherewithColumn 可以给datafra...

Spark RDDSpark RDD详解开发环境RDD创建Parallelized Collections 并行集合External Datasets 外部数据库wholeTextFiles 整个文本文件newAPIHadoopRDDMySQLHbaseRDD Operations 算子Transformations 转换算子√map(func )√filter(func )√flatM...

Spark概述概述计算流程常⻅疑问概述Spark是⼀个快如闪电的统⼀分析引擎（计算框架）⽤于⼤规模数据集的处理。Spark在做数据的批处理计算，计算性能⼤约是Hadoop MapReduce的10~100倍，因为Spark使⽤⽐较先进的基于DAG 任务调度，可以将⼀个任务拆分成若⼲个阶段，然后将这些阶段分批次交给 集群计算节点处理。Spark在设计理念中也提出了 One stack ru...

转载：原文链接: https://blog.csdn.net/qq_35190492/article/details/103467732.HashMap说到链表，你想知道新的Entry节点在插入链表的时候，是怎么插入的么？那么什么时候开始扩容那：扩容为什么要重新Hash呢，直接复制过去不香么？为啥之前用头插法，java8之后改成尾插了呢？头插是JDK1.7的那1.8的尾插是怎么样的呢？java...

Joining 链接Window JoinTumbling Window Join 滚动窗口joinSliding Window Join 滑动窗⼝连接Session Window Join 会话窗⼝连接Interval Join(区间join)Window Join窗⼝join将共享相同key并位于同⼀窗⼝中的两个流的元素联接在⼀起。可以使⽤窗⼝分配器定义这些窗⼝，并根据两个流中的元素...

Flink WindowsKeyed WindowsWindow Lifecycle 窗口生命周期Keyed vs Non-Keyed WindowsWindow Assigners 窗口指定Tumbling Windows 滚动窗口Sliding Windows 滑动窗口Session Windows 会话窗口Global Windows 全局窗口Window FunctionsReduc...

State & Fault ToleranceFlink是⼀个基于状态计算的流计算服务。Flink将所有的状态分为两⼤类: keyed state(键控状态) 与 operatorstate（运算符状态） .所谓的keyed state指的是Flink底层会给每⼀个Key绑定若⼲个类型的状态值，特指操作KeyedStream中所涉及的状态。所谓operator state指的是⾮keye...

Flink集成Kafka 并将评估状态存入状态让外界查询首先需要在工具类上添加两个get方法用来获取应用信息应用名登录用户名来作为状态键有关这个工具类请看前篇博客《接风控责任链之测试与数据抽取工具类》 //取登录应用信息应用名 public static String getUserIdentify(String input){ //指定一个验证数据对象 ...

这网上大多都是说jar包没有引或者没有引对,我看了下都引了,也都没错因为之前运行的好好的.一个好哥们说我之前有复制过一个项目里面有方法和我这个路径一样肯能是包冲突，两个包的相同路径有相同的方法，不知道调哪一个于是我便点进去异常下的第一个类,把所有的导包删除重新导了一边我之前复制的那个项目已经删除了再运行果然没错了...

Operators（运算符）DataStream Transformations （数据流的转换）DataStream → DataStreamMapTakes one element and produces one element. A map function that doubles the values of the input stream:获取一个元素并生成一个元素。一个映...

Streaming (DataStream API（数据流接口）)DataSource（数据源）数据源是程序读取数据的来源，⽤户可以通env.addSource(SourceFunction),将SourceFunction添加到程序中。Flink内置许多已知实现的SourceFunction，但是⽤户可以⾃定义实现SourceFunction （⾮并⾏化的接⼝）接⼝或者实现 Parallel...

概述Flink是构建在数据流之上的有状态计算的流计算框架，通常被⼈们理解为是 第三代 ⼤数据分析⽅案。概念Task和Operator Chain（阶段和运算链）Flink是⼀个分布式流计算引擎，该引擎将⼀个计算job拆分成若⼲个Task(等价于Spark中的Stage)，每个Task都有⾃⼰的并⾏度，每个并⾏度都由⼀个线程表示，因为⼀个Task是并⾏执⾏的，因此⼀个Task底层对应⼀系列的...

接风控责任链之测试因为我们在之前的责任里引需求有用到一个记录用户登录的历史状态的一个实体类/** * 记录是用户的登录的历史状态 */public class HistoryData implements Serializable { private Set<String> historyCities; //登录过的历史 城市集合 private Set<...

登录位移速度评估此情况主要是对用户的登录地址在短时间出现在不同地方来进行评估是否存在风险！评估这个我们需要知道客户两次不同登录地址的距离，进行判断在两次登录的间隔时间里客户有没有可能利用现在的交通工具到达！距离是通过经纬度来进行计算的，计算是保证准确的但存不存在误差主要还是看给过来的数据是否存在误差下面问题来了，我们如何来计算两个经纬度之间的距离那！球面距离公式百度百科我们进行简单推...

⽤户输⼊特性评估算法推理传过来的用户输入特性，是用户输入用户名，密码，验证码各自所用的时间，我们从客户历史登入成功的这些输入特性中利用算法来评估出一个标准范围，来判断以后的输入是否存在非本人之类的风险情况！我们可以将用户的特性都看作如上图坐标上的一个点，输入特性不同，点的位置也就不同，以一个圆为标准，圆内为正常圆外为异常！（之所以用圆而不用正方形之类的是因为圆从圆心无论到哪个方向的边都...