sky

一.git的简介: ----> Linux同一个开发 —>Linus开发1.分布式的控制器二. 版本作用 协同修改多人并行不悖的修改服务器端的同一个文件。 数据备份不仅保存目录和文件的当前状态，还能够保存每一个提交过的历史状态。 版本管理在保存每一个版本的文件信息的时候要做到不保存重复数据，以节约存储空间，提高运行效率。这方面 SVN 采用的是增量式管理的方式，...

DataStream APIFlink 的DataStream程序四实现数据流转换的常规程序(例如L过滤, 更新状态,定义窗口,聚合).最初从各种源（例如，消息队列，套接字流，文件）创建数据流。结果通过接收器返回，接收器可以例如将数据写入文件或标准输出（例如命令行终端）。Flink程序可以在各种环境中运行，独立运行或嵌入其他程序中。执行可以在本地JVM中执行，也可以在许多计算机的集群上执行。...

Apache Flink是一个用于对无界和有界数据流进行有状态计算的框架。Flink在不同的抽象级别提供多个API，并为常见用例提供专用库。流媒体应用程序的构建块 可以由流处理框架构建和执行应用程序类型由框架控制流,状态和时间的程度来定义.流 流是流处理的基本方面.Flink可以处理任何类型的流有界和无界流:流可以有界或者无界,及固定大小写的数据集,Flink具有处理无界流的复...

最近遇到好多问题,解决起来不能得心应手.多亏别人帮助,所以我现在想写一篇总结心得问题一:java.lang.NullPointerException at com.urundp.corona.metadata.quality.schedule.MeatdataTask.getMeatdata(MeatdataTask.java:40) at com.urundp.coron...

Linux命令 du -sh * : 命令也可以列出当前文件以及文件夹的大小 df -h : 查看磁盘符用的大小 fdisk -l : 查看分配空间和未分配的

在docker下安装了Oracle后,要进入Oracle的命令界面需要先前执行下面这条命令:docker exec -it oracle bash然后进入Oracle:sqlplus system/oracle得到的画面是: 而后装了Oracle后把dmp文件传入到Oracle数据库; 这时需要注意,需要执行挂在文件命令 Docker容器启动的时候，如果要挂载宿主机的一个...

javaSE知识点汇总写代码：1，明确需求。我要做什么？2，分析思路。我要怎么做？1,2,3。3，确定步骤。每一个思路部分用到哪些语句，方法，和对象。4，代码实现。用具体的java语言代码把思路体现出来。学习新技术的四点：1，该技术是什么？2，该技术有什么特点(使用注意)：3，该技术怎么使用。demo4，该技术什么时候用？test。Java的三种技术架构...

从上到下依次: 清理 校验 编译 测试 打包 部署 生产站点 发布到私服

三级菜单: 1. 可以一层一层的进入到所有层 2. 可以在每层返回上一层 3. 可以在任意层退出, 主菜单menu = { '北京':{ '朝阳':{}, '昌平':{}, '海淀':{}, }, '上海':{ '徐汇':{}, '闵行':{}, '浦东':{}, ...

前言: 在工作中,可能需要好几个Hadoop作业(job)来协作完成,往往一个job的输出会被当做另一个job的输入来使用，这个时候就涉及到了数据流的处理。 我们不可能就盯着程序，等它运行完再去运行下一个程序，所以，一般的做法就是通过shell来做，但是如果涉及到的工作流很复杂（比方说有1,2,3,4四个作业，1的输出作为2 3 4的输入，然后2 3的结果运算之后再和1的结果进...

一. 整体架构的优化 hive计算引擎不仅仅支持MapReduce,并且还支持Tez, Spark等.根据不同的计算引擎又可以使用不同的资源调度和存储系统。整体架构优化点: 1.根据不同业务需求进行日期分区,并执行动态分区. 相关参数设置: 0.14中默认hive.exec.dynamic.partition=true2.为了减少磁盘存储空间以及I/O次数.对数据进行压缩 相关参...

Map接口操作的是一对对象,即二元偶对象,Map接口中的每个元素都使用”key–value”的形式存储在集合中.SortedMap接口是排序接口,只要是实现了此接口的子类,都属于排序的子类.TreeMap就是此接口的一个子类Map接口常用的子类: HashMap:无序存放,新的操作类,key不允许重复Hahtable:无序存放,旧的操作类,key不允许重复TreeMap:可以排序...

集合里面的一些安全线程和不安全线程? 安全的: Vector HashTable StringBuffer 非线程安全: ArrayList ： LinkedList： HashMap： HashSet： TreeMap： TreeSet： StringBulider：mybaits与hibernate的区别 hibernate:是一个标准的ORM框架（对象关系映射...

什么是多态? 1.面向对象的三大特性：封装、继承、多态。从一定角度来看，封装和继承几乎都是为多态而准备的。这是我们最后一个概念，也是最重要的知识点。 2.多态的定义：指允许不同类的对象对同一消息做出响应。即同一消息可以根据发送对象的不同而采用多种不同的行为方式。（发送消息就是函数调用） 3.实现多态的技术称为：动态绑定（dynamic binding），是指在执行期间判断所引用对象的实际类型...

多态 指允许不同类的对象对同一消息做出反应;即同一消息可以根据发送对象的不同而采用多种不同的行为方式。（发送消息就是函数调用）序列化 将对象的信息可以转为存储或传输的形式过程;在序列化期间，对象将其当前状态写入到临时或持久性存储区。以后，可以通过从存储区中读取或反序列化对象的状态，重新创建该对象。...

Hadoop 客户端向HDFS写数据的流程 - 客户端和name node通信，name node检查目标文件是否已存在，父目录是否存在,检查通过以后name node通知客户端可以写入客户端向name node请求上传文件的第一个块(block1),询问name node应该把block1上传到哪些data node主机上。客户端每传一个block都要向name node请求nam...

以下是根据自己的总结和梳理,建议入过门大数据的人看.写的很片面,没有图片,我仅仅想把握学的东西梳理下.Hadoop篇数据仓库 数据仓库,简写DW,是为企业级所有级别的决策制定过程,提供所有类型数据支持的战略集合.是单个数据存储,处于分析性报告和决策支持的而创建.HDFS原理 客户端将数据上传到DateNode,然后通过硬盘(数据节点)的水平复制功能,达到冗余度的要求.而主节点N...

Java API中java.io.Serializable接口源码： 1 public interface Serializable { 2 } 　　类通过实现java.io.Serializable接口可以启用其序列化功能。未实现次接口的类无法使其任何状态序列化或反序列化。可序列化类的所有子类型本身都是可序列化的。序列化接口没有方法或字段，仅用于标识可序列化的语义。　　Java...

TCP协议 1.TCP通过以下方式提供可靠性：应用程序分割为TCP认为最合适发送的数据块，由TCP传递给IP的信息单位叫做报文段当TCP发出一个报文段后，它启动一个定时器，等待目的端确认收到这个报文段，由TCP传递给IP的信息单位叫做报文段当TCP收到发自TCP连接另一端的数据，它将发送一个确认这个确认不是立即发送，通常延迟几分之一秒。TCP将保持它首部和数据的校验和。这是一个端和端...

什么是Ajax? AJAX 英文是”Asynchronous JavaScript And XML”,它是一种创建交互网页应用的开发技术. 通过在后台与服务器进行频繁而少量数据的交换，AJAX 可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下，更新网页的某个部分。对于不使用AJAX的传统网页，如果需要更新内容，必须重载整个网页。为什么需要Ajax? Ajx不是一种新的编程...