- 博客(15)
- 收藏
- 关注
RSS订阅原创 DataX运行流程和架构
3、切分多个task之后，DataX job会调用 Scheduler模块，根据配置的并发数据量，将拆分的task重新组合，组装成TaskGroup（task 组）,每个taskgroup负责一定的并发运行完毕分配好的所以task，默认单个任务组的并发数量为5。2、DataX job 启动后会根据不同的远端切分策略，将job切分成多个晓得task 任务，以便于并发执行，Task 便是 DataX作业的最小单元，每一个task都会负责一部分数据的同步工作。否则，异常退出，进程退出值非0。
2023-09-07 19:10:32
182
1
原创 Kylin架构原理和使用教程
Kylin 的查询过程不会扫描原始记录，而是通过预计算预先完成表的关联、聚合等复杂运算，并利用预计算的结果来执行查询，因此相比非预计算的查询技术，其速度一般要快一到两个数量级，并且这点在超大的数据集上优势更明显。开源的分布式分析引擎，为Hadoop等大型分布式数据平台之上的超大规模数据集通过标准 SQL 查询及多维分析（ OLAP ）功能，提供亚秒级的交互式分析能力。从图中可以看出，数据源在左侧，主要是 Hadoop/Hive/Kafka/RDBMS ，保存着待分析的用户数据。
2023-09-07 18:24:17
158
1
原创 Spark复习重点和ETL
那么在 scala 的函数式编程中，就会导致算 子内经常会用到算子外的数据，这样就形成了闭包的效果，如果使用的算子外的数据无法序列化，就意味着无法传值给 Executor端执行，就 会发生错误，所以需要在执行任务计算前，检测闭包内的对象是否可以进行序列化，这个操作我们称之为闭包检测。以防万一，仍然还是会有一些数据没有用户id，那么我们使用用户id查询不到那么就使用设备id替换，重新作为guid的key。
2023-09-07 17:56:24
182
1
原创 Java阶段复习重点内容
还提供了框架式的Bean的访问方式和企业级的功能，如JNDI访问，支持EJB、远程调用、继承模板框架、Email和定时任务调度等。-- 相对路径-->将静态内容进行直接替换。FreeMarker 的原理就是：模板+数据模型=输出，模板只负责数据在页面中的表现，不涉及任何的逻辑代码，而且还可以用于生成(XML，JSP，HTML网页，电子邮件，配置文件，源代码等)的通用工具。是一个Java类库。sprinBoot框架--主流web应用的开发-因为其多使用了注解开发，和pom的·依赖和插件，大大减少了开发时间。
2023-05-05 21:30:53
120
原创 spring事务管理器
org.springframework.transaction.PlatformTransactionManager通过这个接口，Spring 为各个平台如。JDBC、Hibernate 等都提供了对应的事务管理器，但是具体的实现就是各个平台自己的事情了。servlet层实行请求的接收和响应。service层实行具体的业务逻辑代码。：一旦数据库中的数据发生改变，那么是永久性的。在具体的业务实现中，pom文件导入坐标依赖。：事务执行前后数据库的数据要保持一致。事务管理器的四个特性。
2023-04-21 16:05:11
198
原创 JSP&&JSTL
一般我们使用JSP用做显示页面（解耦思想），虽然它能使用编写java代码，，这个文件存放在 tomcat（源码目录） 中的。Jsp 技术允许在页面中嵌套。JSTL是JSP的标签库，代码，为用户提供动态数据。是一种动态网页编程技术。Jsp 引擎都会将这个。
2023-04-20 20:40:09
142
原创 Servlet进阶
Cookie对象 浏览器技术，存放在本地，一般存放账户密码request对象 数据在一次请求中有效session对象 可以多次请求，session对象默认在浏览器内存中存活，关闭浏览器或服务器时失效，session底层是依赖cookie的session对象有默认事件单位为分钟，默认30分钟（30分钟无操作）//销毁session对象sessioninvalidate();servletContext对象（随服务器同生共死）表单的请求方式为；
2023-04-20 20:18:18
63
原创 HTTP(超文本传输协议)Servlet第一天
所谓生命周期，指的是 servlet 容器何时创建 servlet 实例、何时调用其方法进行请求的处理、 何时并销毁其实例的整个过程。服务器处理 完客户的请求，并收到客户的应答后，即断开连接。当第一次请求到达Servlet容器的时候这个时候Servlet容器时他会去判断有没有servlet对象,如果没有就会创建一个对象，该方法只会执行一次。也可以认为，一次连接发送多个请求，由客户机确认是否关闭连接，而服务器会认为这些请求分别来自不同的客户端。连接的开销分摊到多 个请求上，则对于每个请求而言，由于 TCP。
2023-04-20 17:28:54
87
原创 网页编程设计HTML&CSS&JS
200 (OK): 找到了该资源，并且一切正常。◆304 (NOT MODIFIED): 该资源在上次请求之后没有任何修改。这通常用于浏览器的缓存机制。◆401 (UNAUTHORIZED): 客户端无权访问该资源。这通常会使得浏览器要求用户输入用户名和密码，以登录到服务器。◆403 (FORBIDDEN): 客户端未能获得授权。这通常是在401之后输入了不正确的用户名或密码。◆404 (NOT FOUND): 在指定的位置不存在所申请的资源。
2023-04-20 15:53:17
137
原创 Mybatis框架笔记
Mybatis内部封装了jdbc(java链接数据库技术)使用比jdbc更灵活，节省资源（jdbc需要反复申请资源）Mybatis是一个不完全的ORM框架，用的是对象关系映射，将SQL中的表和字段名映射成Java的类和属性（表对应类，字段对应属性名）
2023-04-20 10:44:25
61
原创 springBoot_mybatis整合
application.yml整合配置SQL映射文件添加 resources/mappers 目录下添加UserMapper.xml 配置查询statetment 添加约束mapper指定sql映射的dao下的类的路径 接下来就是mapper文件内的增删改查命令 定义一个实体类存放在vo包下 实体类的属性对应数据库的指定表中的字段相同再在servlet层中注入service类
2023-04-19 14:48:35
78
1
原创 spring_boot第一天
格式：@PropertySouce(value=${"jdbc.properties,user.properties"}）//配置一个文件banner.txt在resource资源目录下来显示控制台的内容(可以在网页中制作显示的样式)，同样的在入口类中可以通过。classpath:/html/ (存放在resouce资源目录下hetm包中的文件里)//只要将properties文件加载到内存@PropertySouce中也可以在其他层或类获取到@propertie中的值。
2023-04-17 21:12:02
70
1
原创 spring框架
面向切面编程，相比较oop面向对象编程来说，Aop关注的不再是程序代码中某个类，某些方法，而aop考虑的更多的是一种面到面的切入，即层与层之间的一种切入，所以称之为切面。联想大家吃的汉堡（中间夹肉）。那么aop是怎么做到拦截整个面的功能呢？考虑前面学到的的配置，实际上也是aop的实现。AOP主要应用于日志记录，性能统计，安全控制事务处理等方面，实现公共功能性的重复使用。特点：1.降低模块与模块之间的耦合度，提高业务代码的聚合度。（高内聚低耦合）
2023-04-13 10:50:21
65
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人