weixin_46600354的博客

原创 Apache Sqoop --- 数据导入导出工具

Apache Sqoop概述Apache Sqoop是在RDBMS和hadoop体系之间进行数据传输的工具RDBMS体系MySQL, Oracle, DB2 等Hadoop体系HDFS, Hive, Hbase等底层通过MapReduce来实现, 针对输出输出组件进行了定制, 支持DBsqoop也是一种ETL工具, 可以把数据从RDBMS经过抽取转换装载到Hive数仓中导入导出方向RDBMS --> Hadoop导入Hadoop --> .

原创 Apache oozie ---工作流调度软件

Apache oozie概述是一款工作流调度软件, 来自于 cloudera, 后来贡献给 ApacheOozie 是运行于 Java servlet 容器上的一个 java web 应用Oozie 的目的是按照 DAG（有向无环图）调度一系列的 Map/Reduce 或者 Hive 等任务工作流核心依赖执行周期重复执行适用场景需要按顺序进行一系列任务需要并行处理的任务需要定时、周期触发的任务可视化作业流运行过程运行结果或异常的通报Oozie 的架构Oozie Cli.

原创 Hbase学习笔记

Apache Hbase简介概述HBase 是建立在 hadoop hdfs 之上，提供高可靠性、高性能、列存储、可伸缩、实时读写 nosql 的数据库仅支持通过主键 Row key 检索数据不支持 SQL 语句的查询不支持 join 等复杂操作不支持复杂的事务HBase 中支持的数据类型：byte[]Hbase 和 Hadoop 关系、RDBMS 对比Hbase 和 hadoop 关系hbase 依赖于 hadoop hdfs, hbase 的表数据最终都是存储在 hdf.

原创 Azkaban批量工作流调度器

原创 Flume日志采集、传输、聚合软件

Flume概述Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件数据采集数据从无到有的过程把客观事件通过传感器等工具量化为数据数据搬运迁移的过程把数据从一个存储介质传递到另一个存储介质flume的采集是数据搬运的采集版本Flume 0.9X简称: Flume OG(original generation)属于ClouderaFlume 1.X简称 Flume NG(next generation)属于

原创 学习笔记之Hive学习笔记

原创 Hadoop学习笔记

原创 linux命令简记

原创 spring框架学习笔记

Spring FrameworkSpringMVCSSM三大框架

原创 排序算法之归并排序

归并排序以O(N log N)最坏情形时间运行, 所使用的比较次数几乎是最优的该算法是采用分治的思想实现, 将数组依次对半拆分, 排好序后再逐一合并由于需要另外的一个数组来保存临时排好序的数据, 所以在空间上存在一些损耗分治思想分的过程将问题分成一些小的问题然后递归求解，而治的阶段则将分的阶段得到的各答案拼接在一起图片来自: https://www.cnblogs.com/che...

原创 Maven学习笔记

原创 ajax&json学习笔记

转载 数据结构与算法学习笔记_堆排序算法

堆排序——Java实现一、堆排序​ 堆排序(Heap Sort)是指利用堆这种数据结构所设计的一种排序算法。堆是一个近似完全二叉树的结构，并同时满足堆积的性质：即子结点的键值或索引总是小于(或者大于)它的父节点。二、堆什么是堆堆是一个树形结构，其实堆的底层是一棵完全二叉树。而完全二叉树是一层一层按照进入的顺序排成的。按照这个特性，我们可以用数组来按照完全二叉树实现堆。...

原创 jQuery学习笔记

大纲详情展开图各个模块详情官方api请参考https://api.jquery.com/jQuery API 中文文档https://www.jquery123.com/http://jquery.cuishifeng.cn/ —jQuery API 3.3.1 带速查表...

原创 MyBatis学习笔记

一级大纲图二级大纲图各级大纲完全展开图各个模块拆分图组成结构相关APIMapper.xml动态代理方式SqlMapConfig.xml输入映射与输出映射动态SQL表关联查询...

原创 JavaWeb学习笔记之页面-服务器-数据库完整开发流程

框架图详情展开图

原创 设计模式学习笔记

大话设计模式学习笔记

原创 BootStrap前端框架

BootStrap简介概述:​ 已有的前端框架, 里边定义了大量的CSS样式 和 JS脚本, 将需要用到的直接复制过来, 然后简单修改即可.框架:​ 可简单理解为针对于某类功能的 半成品.作用:Bootstrap 使得 Web 开发更加快捷，高效BootStrap支持响应式开发，解决了移动互联网前端开发问题响应式页面:概述:​ 指的是页面会根据屏幕的分辨率, 进行自适应调...

原创 Java学习笔记之web项目中对浏览器请求处理

原创 Java学习笔记之前端与后台交互

思维导图大纲Web开发简述JavaWeb开发概述通过Java语言对web进行的开发一个web项目开发的完整流程图软件架构CS架构 Client/Server优点可以减轻服务器压力, 将一些图片等资源存储到客户端本地界面美观缺点灵活性不强, 服务器进行升级客户端需要同步更新分布式开发较弱BS架构 Brower/Server优点灵活性较强,...

原创 数据库学习笔记

mysql数据库及java中如何操作数据库学习笔记大纲

原创 mysql数据库学习笔记

数据库概念数据库备份, 恢复, 及本地数据库密码重置SQL语句分类及常用语句多表关系分类及简单案例约束

原创 Java学习笔记之网络编程

java网络编程

原创 Java学习笔记之反射

反射相关内容

原创 Java学习笔记之多线程编程

java多线程编程

原创 Java学习笔记之注解

Junit单元测试及注解

原创 Java学习笔记之IO流

IO流部分扩展递归相关知识

原创 Java学习笔记之File类

原创 Java学习笔记之异常

原创 Java之集合学习笔记

暂不知道如何导入xmind, 因此直接将图片导入

原创 前端知识总结

原创 java

java学习笔记