qq_44698610的博客

wsgi 给python的web开发提供了规范和方便基于wsgi协议可以高效，规范的进行web服务的开发下期内容自定义多个路由匹配不同的方法，响应页面内容。

说明要输出规范的时间窗口数据，00：00—02：00、02：00-04：00package flink;import bi.MainFunc;import bi.bean.SolomeBean;import com.alibaba.fastjson.JSON;import org.apache.flink.api.common.ExecutionConfig;import org.apache.flink.api.common.eventtime.WatermarkStrategy;imp

大数据质量文章概述1.大数据质量的目的2.大数据质量涉及问题3.大数据质量管理实现的技术1.大数据质量的目的在了解数据质量目的之前，我们先看一下数据质量的概念数据质量是指在业务环境下，数据符合消费者的使用目的，能满足业务场景的具体需求的程度具体应用中，也就是数据消费者对数据质量的需求不一定相同，一些人关注准确性和一致性，一些人关注实时性和相关性，我们监控数据质量的目的就是满足数据消费者的各种需求，下面列出来一些通用性的规则，使我们对数据质量的概念不再这么抽象表1-1，数据质量的规则实例质

元数据文章概述1.搞清楚什么是元数据2.元数据的构建3.元数据的作用4.元数据的实战1.搞清楚什么是元数据百度元数据，结果估计是，不包含数据的数据。比较抽象我们在使用hive的时候，经常把元数据配置在mydql中，打开来看它存储的是表的信息，数据的存储信息。此时可以理解为元数据服务于我们要使用的数据然后我们来看一张图，此时，对元数据应该有更全面的认识先引入几个新的概念1.实体：概念明确的客观实体或者抽象实体2.属性：构成实体的参数3.域：某一数据类型，限定了数据值的类型元数据服

SELECT tba.leve,dt2.*FROM (SELECT @l := @l + 1 as leve,@id as _ids,(SELECT @id := group_concat(id) from degree_tk where FIND_IN_SET(parent_id,@id)) as cidsFROM (select @id :='1',@l := 0) b,degree_tk dt) tba,degree_tk dt2#单引号的值为目标idWHERE FIND_IN_

定义注解类import java.lang.annotation.ElementType;import java.lang.annotation.Retention;import java.lang.annotation.RetentionPolicy;import java.lang.annotation.Target;@Target({ElementType.FIELD,ElementType.METHOD})//作用目标，字段,方法@Retention(RetentionPolicy.R

同key的进行状态计算，比较两者的区别package com.uu.stateimport java.util.Dateimport com.uu.two.Hummanimport com.uu.two.utils.DateTransimport org.apache.flink.api.common.functions.RichFlatMapFunctionimport org.apache.flink.api.common.state.{ValueState, ValueStateDes

测流输出的方法建立多个分支定义流的标签传入处理器函数中判断参数，进行分流package com.uu.twoimport java.sqlimport java.sql.DriverManagerimport com.uu.two.utils.DateTransimport org.apache.flink.api.common.functions.{MapFunction, RichMapFunction}import org.apache.flink.api.common.st.

普通函数类指定了输入类型与返回类型，功能同map算子相似富函数类涉及到了资源相关，例如连接数据库与关闭数据库等操作写在代码中代码中在建立连接的时候输出了一句话，执行程序可以看到，打印该话只执行了一次底层处理函数api添加了时间语义，触发器概念，灵活使用触发器，实现时间间隔内的各种操作package com.uu.twoimport java.sqlimport java.sql.DriverManagerimport com.uu.two.utils.DateTransimpo.

自定义迭代器类实现分区调用函数每一个元素的值乘以3再输出常用的方法是在方法中定义一个集合对象，容易出现内存不足的情况使用自定义的迭代器类可以避免这种情况的出现 //自定义迭代器类 class CustomIterator(iter: Iterator[Int]) extends Iterator[Int] { def hasNext: Boolean = { iter.hasNext } def next: Int = {

package com.uu.oneimport scala.collection.mutable.ListBufferimport scala.util.control.Breaksobject Demo1 { def main(args: Array[String]): Unit = { val sentence = "一首现代诗《笑里藏刀》:哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈刀哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈" val map = scala.collection.mu

元数据概念除了数据本身外的数据例如:电影称为数据，则电影简介，演员表等就是元数据元数据的应用数据仓库中记录模型定义，各个层级的映射关系帮助开发者快速的找到数据技术元数据表 ，字段，分区的信息文件大小，权限等运行元数据记录作业信息，工作体日志等任务监控，运维，数据质量等...

控制反转将对象建立的控制权交给框架具体通过配置文件来实现beanFacory工厂来获取配置文件中的baen对象可通过具体的类或者bean的名字来获取对象依赖 注入由类名与属性名字，属性值来给类的属性赋值aop功能的增强切点切面的概念可以给一个 点配置多个面来增强可以给一个面指定多个点集合事务的使用，功能强大...

配置文件配置了事务管理器配置了切点（dao层的对应的方法)配置了切面（事务的传播行为，隔离级别) <!-- 读取数据库配置文件--> <context:property-placeholder location="db.properties"></context:property-placeholder> <!-- 初始化 数据源--> <bean id="dataSource" class="com.a

dao层代码，实现回滚事务提交前扔出来了一个异常，运行结果，数据库中没有插入值package com.uu.translation.dao;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.jdbc.core.JdbcTemplate;import org.springframework.jdbc.datasource.DataSourceTransactionMana

基于注解实现ioc配置文件开启注解扫描 <context:component-scan base-package="com.uu.translation"/>dao层@Repositorypublic class UserDao { public void insert(){ System.out.println("插入成功"); }}service层，注入了dao层的对象@Servicepublic class UserImp im

特点1.数据的拆分与合并2.对某个范围取值的展示3.去处畸形数据，查看效果4.简单的实现多图联动5.配合时间轴使用6.支持百万级的数据展示小工具百度图说简单的修改类excle文档就可以生成统计图https://tushuo.baidu.com/wave/index#/gallery...

一个简单的联通图好友推荐尝试联通图算法package graphximport org.apache.spark.graphx.{Edge, Graph, VertexId, VertexRDD}import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}/** * Create...

软件测试的阶段划分单元测试：一个单元或者模块集成测试：模块间的连接系统测试：配合需求规则说明书验收测试：整个系统的测试软件测试的工作流程需求分析测试计划测试案例及步骤执行测试总结报告名词解释开发环境：编写，调试代码的环境。测试环境：使用假的身份测试准线上坏境：使用真的身份测试线上环境：真实数据内测版：是否有非公司人员确定线上还是准线上基线测试：单一用户完...

描述注册成为开发者后，使用sn的方式来进行校验，官网给出了计算的方发，将计算出来的sn拼接后发现校验失败，本地的sn与云端的sn不一致。问题使用经纬度获取位置坐标，还需要计算location。在给定的代码里将paramsStr也要进行拼接。测试修改代码，将location与sn都进行输出package test;import java.io.UnsupportedEncoding...