oracle中utl_raw RAW，类似于CHAR，声明方式RAW(L)，L为长度，以字节为单位，作为数据库列最大2000，作为变量最大32767字节。LONG RAW，类似于LONG，作为数据库列最大存储2G字节的数据，作为变量最大32760字节建表操作:create table raw_test (id number, raw_date raw(10));插入raw数据操作:insert into raw_te...
scrapyd schedule.json setting 传入多个值 使用案例：import requestsadder='http://127.0.0.1:6800'data = { 'project':'v1', 'version':'12379', 'setting':['ROBOTSTXT_OBEY=True','CONCURRENT_REQUESTS=32']}...
关于this this1、在普通函数下，this的指向是window。2、有事件源，指向事件源本身。3、在定时器下（除es6）,指向window。setTimeout(()=>{ console.log(this) },0)4、在对象下，this指向的是自己本身。转载于:https://www.cnblogs.com/mishiyang/p/11434966.html...
celery 动态定时任务探索 环境：celery 4.3flaskpython 3.7linux需求： 动态添加定时任务，且方便维护。解决思路： 参考django-celery 或是celery源码，将定时任务配置放置到数据库中，从而维护数据达到动态定时任务到效果。 定时任务对应的是beat, beat将产生task给worker.beat的sche...
datatables editor fields type 其实editor fields type 默认支持的输入类型就是w3c输入框类型。textnumberpasswordtextareaselectcheckboxradiodatetimedatetime...
largest-rectangle-in-histogram /** * 给出n个数字，代表直方图的条高，直方图每一条的宽度为1，请计算直方图中最大矩形的面积 * * 上图是每条宽度为1, 高度 =[2,1,5,6,2,3].的直方图 * * 图中的阴影部分是该直方图中面积最大的矩形，面积为10个单位 * 例如： * 给出的高度 =[2,1,5,6,2,3], * 返回10. *//** * 给出n个数字，代表直方图的条高，直方图每一条...
jump-game-ii /** * 给出一个非负整数数组，你最初在数组第一个元素的位置 * 数组中的元素代表你在这个位置可以跳跃的最大长度 * 你的目标是用最少的跳跃次数来到达数组的最后一个元素的位置 * 例如 * 给出数组 A =[2,3,1,1,4] * 最少需要两次才能跳跃到数组最后一个元素的位置。 *（从数组下标为 0的位置跳长度1到达下标1的位置，然后跳长度3到数组最后一个元素的位置） *//...
construct-binary-tree-from-preorder-and-inorder-traversal /** * 给出一棵树的前序遍历和中序遍历，请构造这颗二叉树 * 注意： * 可以假设树中不存在重复的节点 *//** * 给出一棵树的前序遍历和中序遍历，请构造这颗二叉树 * 注意： * 可以假设树中不存在重复的节点 */public class Main55 { public static void main(String[] args) {...
remove-nth-node-from-end-of-list /** * 给定一个链表，删除链表的倒数第n个节点并返回链表的头指针 * 例如， * 给出的链表为:1->2->3->4->5, n= 2.↵↵ * 删除了链表的倒数第n个节点之后,链表变为1->2->3->5. * 备注： * 题目保证n一定是合法的 * 请尝试只用一步操作完成该功能 *//** * 给定一个链表，删除链...
longest-common-prefix /** *编写一个函数来查找字符串数组中的最长公共前缀。 * 如果不存在公共前缀，返回空字符串 ""。 * 说明: 所有输入只包含小写字母 a-z 。 *//** *编写一个函数来查找字符串数组中的最长公共前缀。 * 如果不存在公共前缀，返回空字符串 ""。 * 说明: 所有输入只包含小写字母 a-z 。 */public class Main53 {...
gas-station /** *环形路上有n个加油站，第i个加油站的汽油量是gas[i]. * 你有一辆车，车的油箱可以无限装汽油。从加油站i走到下一个加油站（i+1）花费的油量是cost[i]，你从一个加油站出发，刚开始的时候油箱里面没有汽油。 * 求从哪个加油站出发可以在环形路上走一圈。返回加油站的下标，如果没有答案的话返回-1。 * 注意： * 答案保证唯一。 * *//** *环形路上有n...
pascals-triangle-ii /** * 给出一个索引k，返回杨辉三角的第k行 * 例如，k=3， * 返回[1,3,3,1]. * 备注： * 你能将你的算法优化到只使用O(k)的额外空间吗? * * Given an index k, return the k th row of the Pascal's triangle. * For example, given k = 3, * Return[1,3,3,1...
binary-tree-level-order-traversal-ii /** * 给定一个二叉树，返回该二叉树由底层到顶层的层序遍历，（从左向右，从叶子节点到根节点，一层一层的遍历） * 例如： * 给定的二叉树是{3,9,20,#,#,15,7}, * 3↵ / ↵ 9 20↵ / ↵ 15 7 * 该二叉树由底层到顶层层序遍历的结果是 * [↵ [15,7]↵ [9,20],↵ [3],↵] * */...
minimum-path-sum /** * 给定一个由非负整数填充的m x n的二维数组， * 现在要从二维数组的左上角走到右下角， * 请找出路径上的所有数字之和最小的路径。 * 注意：你每次只能向下或向右移动。 * * Given a m x n grid filled with non-negative numbers, find a path from top left to bottom right whic...
Java -- 二分查找 二分查找又称折半查找，它是一种效率较高的查找方法。折半查找的算法思想是将数列按有序化(递增或递减)排列，查找过程中采用跳跃式方式查找，即先以有序数列的中点位置为比较对象，如果要找的元素值小 于该中点元素，则将待查序列缩小为左半部分，否则为右半部分。通过一次比较，将查找区间缩小一半。 折半查找是一种高效的查找方法。它可以明显减少比较次数，提高查找效率。但是，折半查找的先决条件是查找表中...
Spring: AOP 面向切面编程——实现通知的三种方法 通知： 前置通知：运行目标方法前时，运行的通知； 后置通知：运行目标方法后时，运行的通知； 异常通知：运行目标方法发生异常时，运行的通知； 环绕通知：在环绕通知中可以定义，前置通知、后置通知、异常通知和最终通知，比较全面； 最终通知：运行方法后，都会运行的通知；让我们用一张图来更加好的理解这几个通知：一、通过接口实现通知 前置通知：继承Me...
remove-duplicates-from-sorted-array-ii /** * Follow up for "Remove Duplicates": * What if duplicates are allowed at most twice? * For example, * Given sorted array A =[1,1,1,2,2,3], * Your function should return length =5, and A is no...
pascals-triangle /** * 给出一个值numRows，生成杨辉三角的前numRows行 * 例如，给出 numRows = 5, * 返回 * [↵ [1],↵ [1,1],↵ [1,2,1],↵ [1,3,3,1],↵ [1,4,6,4,1]↵] */import java.util.ArrayList;/** * 给出一个值numRows，生成杨辉三...
spiral-matrix-ii /** * Given an integer n, generate a square matrix filled with elements from 1 to n 2 in spiral order. * For example, * Given n =3, * You should return the following matrix: * [ * [ 1, 2, 3 ...
plus-one /** * Given a number represented as an array of digits, plus one to the number. * * 给定一个以数字数组表示的数字，再加上一个数字。 *//** * Given a number represented as an array of digits, plus one to the number....
search-in-rotated-sorted-array /** * Suppose a sorted array is rotated at some pivot unknown to you beforehand. * (i.e.,0 1 2 4 5 6 7might become4 5 6 7 0 1 2). * You are given a target value to search. If found in the array r...
search-in-rotated-sorted-array-ii /** * Follow up for "Search in Rotated Sorted Array": * What if duplicates are allowed? * Would this affect the run-time complexity? How and why? * Write a function to determine if a given target...
symmetric-tree /** * Given a binary tree, check whether it is a mirror of itself * (ie, symmetric around its center). * 1 * / \ * 2 2 * / \ / \ * 3 4 4 3 * * 对于二叉树，检查它是否是自身的镜像（即，围绕其中心对称）。 * 例如，此二叉...
populating-next-right-pointers-in-each-node-ii /** * Follow up for problem "Populating Next Right Pointers in Each Node". * What if the given tree could be any binary tree? Would your previous solution still work? * Note: * You may only use c...
valid-sudoku /** * Determine if a Sudoku is valid, according to: Sudoku Puzzles - The Rules. * The Sudoku board could be partially filled, where empty cells are filled with the character '.'. * A partially fi...
merge-sorted-array /** * Given two sorted integer arrays A and B, merge B into A as one sorted array. * Note: * You may assume that A has enough space to hold additional elements from B. * The number of elements in...
remove-duplicates-from-sorted-list /** * Given a sorted linked list, delete all duplicates such that each element appear only once. * For example, * Given1->1->2, return1->2. * Given1->1->2->3->3, return1->...
path-sum /** * Given a binary tree and a sum, determine if the tree has a root-to-leaf path such that adding up all the values along the path equals the given sum. * For example: * Given the below binary ...
set-matrix-zeroes /** * Given a m x n matrix, if an element is 0, set its entire row and column to 0. Do it in place. * click to show follow up. * Follow up: * Did you use extra space? * A straight forward solut...
permutations /** * Given a collection of numbers, return all possible permutations. * For example, * [1,2,3]have the following permutations: * [1,2,3],[1,3,2],[2,1,3],[2,3,1],[3,1,2], and[3,2,1]. * * 给定一组数字，返...
jump-game /** * * @author gentleKay * Given an array of non-negative integers, you are initially positioned at the first index of the array. * Each element in the array represents your maximum jump length...
binary-tree-level-order-traversal /** * Given a binary tree, return the level order traversal of its nodes' values. (ie, from left to right, level by level). * For example: * Given binary tree{3,9,20,#,#,15,7}, * 3 * / \ ...
Java QueueDemo Queue是java中实现队列的接口，它总共只有6个方法，我们一般只用其中3个就可以了。Queue的实现类有LinkedList和PriorityQueue。最常用的实现类是LinkedList。压入元素(添加)：add()、offer()相同：未超出容量，从队尾压入元素，返回压入的那个元素。区别：在超出容量时，add()方法会对抛出异常，offer()返回false弹出元素...
count-and-say /** * The count-and-say sequence is the sequence of integers beginning as follows: * 1, 11, 21, 1211, 111221, ... * 1is read off as"one 1"or11. * 11is read off as"two 1 s"or21. * 21is read off as...
swap-nodes-in-pairs /** * * @author gentleKay * Given a linked list, swap every two adjacent nodes and return its head. * For example, * Given1->2->3->4, you should return the list as 2->1->4->3. ...
trapping-rain-water /** * * @author gentleKay * Given n non-negative integers representing an elevation map where the width of each bar is 1, compute how much water it is able to trap after raining. * For example, ...
Java StackDemo StackDemo:import java.util.Stack;public class StackDemo { public static void main(String[] args) { // TODO Auto-generated method stub String str = "+u+n+c---+e+r+t---+a-+i-+n+t+...
remove-duplicates-from-sorted-array /** * * @author gentleKay * Given a sorted array, remove the duplicates in place such that each element appear only once and return the new length. * Do not allocate extra space for another arra...
面试题12 在一个单向链表中 指定一个元素 x 然后将所有小于 x 的元素都放到 x 左边 剩下的元素放到 x 的右边... 题目: 重新组织一个单项链表 指定一个元素 x 然后将 小于 x 的元素置于 x 前面 将大于等于 x 的元素置于 x 的右边思路: 另设一个链表 将 x 从原链表中取出 放入新链表 然后 遍历原链表将元素取出 如果当前元素小于 x 则加到新链表表头 否则加到新链表尾部 代码如下 public void mySolution(E x){ if(x==n...
获取cookie脚本 Create Http Context${server}scheme=httpSet Request HeaderUser-AgentMozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743...
捕获与改写HTTPS请求 前言本文站在macOS用户的角度下，分享一下对 HTTPS进行请求拦截、对响应进行修改的经验。要注意的是，本文介绍的工具虽然一定程度上对 Windows 用户也适用 ，但并非所有工具都是免费的。ProxymanProxyman可以免费使用，在安卓/IOS手机上也有相应的解决方案，如果只是监测请求，查看 API请求头及响应体，这个足够了。CharlesCharles...
负载均衡与CDN简介 负载均衡负载均衡是高可用网络基础架构的的一个关键组成部分，有了负载均衡，我们通常可以将我们的应用服务器部署多台，然后通过负载均衡将用户的请求分发到不同的服务器用来提高网站、应用、数据库或其他服务的性能以及可靠性。为什么要引入负载均衡先看一个没有负载均衡机制的web架构：上图中的架构有什么缺陷了？首先，用户是通过网络直接和web服务器相连，想象一下，如果这个...
大数据各个工具随笔 # 基本配置```shell#目录结构： bin：二进制的客户端命令 etc：存放配置文件 etc/conf lib：存放jar包的目录 sbin：存放管理类的脚本启动服务 share：hadoop所有的jar包#查看主机名 hostname#临时修改主机名 hostname hadoop#永久修改主机名 vi /etc/sysconfig/network #查看主机ip i...
初入Shell shell第1章 Shell概述大数据程序员为什么要学习Shell呢？ 1）需要看懂运维人员编写的Shell程序。 2）偶尔会编写一些简单Shell程序来管理集群、提高开发效率。 第2章Shell解析器 （1）Linux提供的Shell解析器有：[atguigu@hadoop101 ~]$ cat /etc/shells /bin/sh...
第4章 DDL数据定义 第4章DDL数据定义4.1 创建数据库1）创建一个数据库，数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db。hive (default)> create database db_hive;2）避免要创建的数据库已经存在错误，增加if not exists判断。（标准写法）hive (default)>...
第3章 Hive数据类型 第3章Hive数据类型3.1 基本数据类型对于Hive的String类型相当于数据库的varchar类型，该类型是一个可变的字符串，不过它不能声明其中最多能存储多少个字符，理论上它可以存储2GB的字符数。3.2 集合数据类型Hive有三种复杂数据类型ARRAY、MAP 和 STRUCT。ARRAY和MAP与Java中的Array和Map类似，而STR...
第2章 Hive安装 第2章Hive安装2.1Hive安装地址 1．Hive官网地址 http://hive.apache.org/ 2．文档查看地址 https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3．下载地址 http://archive.apache.org/dist/hiv...
第1章 Hive入门 第1章Hive入门1.1 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 1）Hive处理的数据存储在HDFS 2）Hive分析数据底层的实现是MapRe...
Hive笔记 * hadoop的主节点 hdfs集群启动用户下1 解压2 配置环境变量3 初始化元数据库hive命令初始化元数据库schematool -dbType derby -initSchemaschematool -dbType mysql -initSchema初始化元数据* mv metastore_db metastore_db.tmp1 vi hive-site.xml2...
Hive学习目录 大数据之Hive学习目录第 1 章 Hive入门 1.1 什么是Hive 1.2 Hive的优缺点 1.2.1 优点 1.2.2 缺点 1.3 *Hive架构原理 1.4 Hive和数据库比较第 2 章 Hive安装 2.1 Hive安装地址 2.2 *Hive安装部署 2.3 *将本地文件导入Hive案例 2....
9.hbase相关进程作用 1、协调服务组件ZookeeperZookeeper的作用如下：1. 保证任何时候，集群中只有一个HMaster；2. 存储所有的HRegion的寻址入口；3. 实时监控HRegionServer的上线和下线信息，并实时通知给HMaster；4. 存储HBase的schema和table元数据；5. Zookeeper Quorum存储-ROOT-表地址、HMas...
8.hbase写入流程和读取流程 1 hbase写入流程 hbase中无论是新增数据还是修改已有行，其内部流程都是一样的，hbase执行写入时会写到两个地方，write-ahead log 简称wal 也叫hlog 预写式日志 和 MemStore，hbase默认把数据先写到这两个地方，只有这两个地方的变化都写入并确认后，才认为写动作完成。 MemStore是内存中的缓冲区默认64m，HBase会把要写入的数据在这里...
7.hbase shell命令 cmd $HADOOP_USER_NAME#创建命名空间create_namespace 'bd1902'#展示所有命名空间 list_namespace#删除命名空间,The namespace must be empty.drop_namespace 'IMUT'create 't1', 'f1', 'f2', 'f3'create 't1', {NAME =>...
5.SSH 免密码登陆 SSH 免密码登陆serverA 机器上 userA 用户，想要免密钥登陆到serverB机器上1、集群中的所有机器 安装ssh 服务端sudo apt-get updatesudo apt-get install openssh-server2、查看ssh运行状态 ps -e | grep ssh如果发现 sshd 和 ssh-agent 即表明 ssh服务基本运行...
3.配置及其名ip映射 sudo vi /etc/hosts192.168.117.50 master192.168.117.60 slave1192.168.117.70 slave2192.168.117.80 slave3添加以上内容，避免有重复机器名出现转载于:https://www.cnblogs.com/Diyo/p/11453931.html...
4.设置静态IP 由于Ubuntu重启之后，ip很容易改变，可以用以下方式固定ip地址1.设置ip地址vi /etc/network/interface# The loopback network interfaceauto loiface lo inet loopback# The primary network interfaceauto enp0s3iface enp0s3 inet...
2.修改机器时间或者时区 修改机器时间或者时区1修改时间sudo date -s "180718 10:03:00" 160614代表2016年6月14日2修改时区tzselect 按照提示进行选择时区，然后： sudo cp /usr/share/zoneinfo/Asia/ShangHai /etc/localtime 执行 sudo ntpdate cn.pool.ntp.org...
1.配置文件内容 单机模式 部署创建目录sudo mkdir /home/briup/software/data/hbase/logssudo chown hbase:hadoop /home/briup/software/data/hbase/logs1 解压后 进入 hbase-2.0.1/conf 目录 修改 hbase-env.sh修改第一行，加入第二行export JAVA_HOME=/...
Mybatis_day3 三 使用XML配置SQL映射器(映射文件) 关系型数据库和SQL是经受时间考验和验证的数据存储机制。和其他的ORM 框架如Hibernate不同，【MyBatis鼓励】开发者可以直接【使用数据库】，而不是将其对开发者隐藏，因为这样可以充分发挥数据库服务器所提供的SQL语句的巨大威力。 与此同时，MyBaits【消除】了书写大量【冗余代码】的痛苦，它让使用SQL更容易。在代码里直接嵌套 很...
个人笔记 JDBC操作 固定6个步骤 1.注册驱动【源码装入内存 2.建立数据库连接 3.获取一个Statement对象 4.执行sql语句 5.处理结果集【如果有的话】 比较繁琐 用户自己提取数据 封装处理 6.释放资源结论: 1.jdbc操作固定6步骤 代码复用率太低 重复动作 2.结果集处理 过于繁琐 核心【Mapping 映射】 查询 表 --> 对象...
Mybatis_day2 二 mybatis配置详解MyBatis最关键的组成部分是SqlSessionFactory，我们可以从中获取SqlSession， 并执行映射的SQL语句。SqlSessionFactory对象可以通过基于XML的配置信息或者JavaAPI创建。而mybatis-config.xml配置文件就是SqlSessionFactory生成的基础。2.1 使用xml配置Mybatis...
Linux下chkconfig命令详解 chkconfig命令主要用来更新（启动或停止）和查询系统服务的运行级信息。谨记chkconfig不是立即自动禁止或激活一个服务，它只是简单的改变了符号连接。使用语法：chkconfig [--add][--del][--list][系统服务] 或 chkconfig [--level <等级代号>][系统服务][on/off/reset]chkconfi...
MySQL数据库练习题 表结构DROP DATABASE IF EXISTS test1;CREATE DATABASE test1;USE test1;##部门表#DROP IF EXISTS TABLE DEPT;CREATE TABLE DEPT(DEPTNO int PRIMARY KEY,##部门编号DNAME VARCHAR(14) , ##部门名称LOC V...
MySQL经典练习题及答案，常用SQL语句练习50题 表名和字段–1.学生表Student(s_id,s_name,s_birth,s_sex) –学生编号,学生姓名, 出生年月,学生性别–2.课程表Course(c_id,c_name,t_id) – –课程编号, 课程名称, 教师编号–3.教师表Teacher(t_id,t_name) –教师编号,教师姓名–4.成绩表Score(s_id,c_id,s_score) –...
Java mysql数据库连接Demo1 public class MysqlUtil { /** * 链接数据库 */ /** * 方法一： * 加载驱动的方法不止一种，但这种最常用 */ public static Connection getConnectionOne(String database,String usernam...
java JDBC编程流程步骤 java JDBC编程流程步骤JDBC：Java Data Base ConnectionJDBC是用于运行sql语句并从数据库中获取新新的java API.JDBC是用来（让我们的程序）通过网络来操作数据库的，作用非常重要；JDBC技术也是Java核心技术之中的一个。是使用JDBC驱动程序訪问数据库的首选方式通过JDBC操作数据库——步骤： 第1步：...
JDBC API阐述 JDBC APIJDBC API 是一系列的接口，它使得应用程序能够进行数据库联接，执行SQL语句，并且得到返回结果。 Driver 接口Java.sql.Driver 接口是所有 JDBC 驱动程序需要实现的接口。这个接口是提供给数据库厂商使用的，不同数据库厂商提供不同的实现在程序中不需要直接去访问实现了 Driver 接口的类，而是由驱动程序...
数据库设计六大范式 1. 第一范式（1NF）（针对具体某一列） 所谓第一范式（1NF）是指在关系模型中，对域添加的一个规范要求，所有的域都应该是原子性的，即数据库表的每一列都是不可分割的原子数据项，而不能是集合，数组，记录等非原子数据项。即实体中的某个属性有多个值时，必须拆分为不同的属性。在符合第一范式（1NF）表中的每个域值只能是实体的一个属性或一个属性的一部分。简而言之，第一...
JDBC驱动程序分类 JDBC驱动程序分类JDBC驱动程序：各个数据库厂商根据JDBC的规范制作的 JDBC 实现类的类库JDBC驱动程序总共有四种类型： 第一类：JDBC-ODBC桥。 第二类：部分本地API部分Java的驱动程序。 第三类：JDBC网络纯Java驱动程序。 第四类：本地协议的纯 Java 驱动程序。 第三、四两类都是纯Java的驱动程序，因此，...
LINUX进程ps -ef和ps -aux的区别及格式详解 Linux下显示系统进程的命令ps，最常用的有ps -ef 和ps aux。这两个到底有什么区别呢？两者没太大差别，讨论这个问题，要追溯到Unix系统中的两种风格，System Ｖ风格和BSD 风格，ps aux最初用到Unix Style中，而ps -ef被用在System V Style中，两者输出略有不同。现在的大部分Linux系统都是可以同时使用这两种方式的。ps -ef 是...
linux下top命令详细介绍 linux下top命令详细介绍 top 命令是 Linux 下常用的系统资源占用查看及性能分析工具，能够实时显示系统中各个进程的资源(比如cpu、内存的使用)占用状况，top命令的执行结果是一个动态显示过程,即可以通过用户按键来不断刷新当前状态.如果在前台执行该命令,它将独占前台,直到用户终止该程序为止.top命令提供了实时的对系统处理器的状态监视.它将显示系统中CPU最“敏感”...
SparkSQL DSL开发（Old） import org.apache.spark.sql.SQLContextimport org.apache.spark.sql.expressions.Windowimport org.apache.spark.sql.hive.HiveContextimport org.apache.spark.{SparkConf, SparkContext}case class Perso...
SparkSQL DSL 随便写写 @Testdef functionTest() = { Logger.getLogger("org").setLevel(Level.WARN) val spark = getSpark("functionTest") val sc = spark.sparkContext import spark.implicits._ //-------------------------...
Java日期格式转换 1.1 返回时间类型 yyyy-MM-dd HH:mm:sspublic static Date getNowDate() { Date currentTime = new Date(); SimpleDateFormat formatter = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); St...
SQL关键字的执行顺序 1.Mysql执行顺序，即在执行时sql按照下面的顺序进行执行：fromonjoinwheregroup byhavingselectdistinctunionorder by2.Mysql语法顺序，即当sql中存在下面的关键字时，它们要保持这样的顺序：select[distinct] from join（如left...
StructuredStreaming基础操作和窗口操作 一、流式DataFrames/Datasets的结构类型推断与划分 ◆ 默认情况下，基于文件源的结构化流要求必须指定schema，这种限制确保即 使在失败的情况下也会使用一致的模式来进行流查询。 ◆ 对于特殊用例，可以通过设置spark.sql.streaming.schemaInference = true。 此时将会开启Spark自动类型推断功能。 ◆ 注意：默认Spa...
StructuredStreaming编程模型 StructuredStreaming编程模型基本概念◆ Time ◆ Trigger◆ Input◆ Query◆ Result◆ Output案例模型：实时处理流单词统计编程模型处理Event-time（事件时间）和Late Data （延迟数据）◆ Event-time : 事件时间◆ Late ...
SparkStreaming架构 SparkStreaming是一个对实时数据流进行高通量、容错处理的流式处理系统，可以对多种数据源（如Kdfka、Flume、Twitter、Zero和TCP 套接字）进行类似Map、Reduce和Join等复杂操作，并将结果保存到外部文件系统、数据库或应用到实时仪表盘。➢ 计算流程➢ 容错性➢ 实时性➢ 扩展性与吞吐量转载于:https://www.cnblog...
SparkStreaming简单例子（oldAPI） SparkStreaming简单例子◆ 构建第一个Streaming程序： （wordCount） ◆ Spark Streaming 程序最好以使用Maven或者sbt编译出来的独立应用的形式运行。 ◆ 准备工作： 1.引入Spark Streaming的jar 2.scala流计算import声明 import org.apache.spark.streami...
SparkStreaming-DStream（Discretized Stream） DStream（Discretized Stream）离散流 ◆ 和Spark基于RDD的概念很相似，Spark Streaming使用离散流 （discretized stream）作为抽象表示，叫做DStream。 ◆ DStream是随时间推移而收到的数据的序列。在内部，每个时间区间收 到的数据都作为RDD存在，而DStream是有这些RDD所组成的序列。 ...
Storm与SparkStreaming对比 Storm与SparkStreaming对比◆ Spark Streaming 批处理的性能比Storm高出几十倍。◆ Streaming采用小批量模式，Storm是一条消息一条消息的计算。◆ Storm也随后推出了称为Trident的小批量计算模式，性能基本上持平。转载于:https://www.cnblogs.com/Diyo/p/11389319.htm...
SparkStreaming概述 Spark Streaming 是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。 ◆ 支持从多种数据源获取数据，包括Kafka、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sockets，从数据源获取数据之后，可以使用诸如map、reduce、join 和window等高级函数进行复杂算法的处理。最后...
SparkStreaming支持的业务场景 目前而言SparkStreaming 主要支持以下三种业务场景： ➢无状态操作：只关注当前的DStream中的实时数据。例如：只对当前DStream中的数据做正确性校验。（下一条与上一条数据无关） 适合做预警系统 ➢ 有状态操作：对有状态的DStream进行操作时,需要依赖之前的数据。例如：统计网站各个模块总的访问量。 累加累...
MapReduce框架原理 MapReduce框架原理3.1InputFormat数据输入3.1.1切片与MapTask并行度决定机制 1．问题引出 MapTask的并行度决定Map阶段的任务处理并发度，进而影响到整个Job的处理速度。 思考：1G的数据，启动8个MapTask，可以提高集群的并发处理能力。那么1K的数据，也启动8个MapTask，会提高集群性能吗？MapTask并行任...
hdfs-default.xml <?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Licensed to the Apache Software Foundation (ASF) under one or more contributor ...
MapReduce概述 第1章 MapReduce概述1.1 MapReduce定义1.2MapReduce优缺点1.2.1 优点1.2.2 缺点1.3MapReduce核心思想MapReduce核心编程思想，如图所示。1）分布式的运算程序往往需要分成至少2个阶段。2）第一个阶段的MapTask并发实例，完全并行运行，互不相干。3）第二个阶段的Re...
Hadoop序列化 Hadoop序列化2.1 序列化概述2.2自定义bean对象实现序列化接口（Writable）在企业开发中往往常用的基本序列化类型不能满足所有需求，比如在Hadoop框架内部传递一个bean对象，那么该对象就需要实现序列化接口。具体实现bean对象序列化步骤如下7步。（1）必须实现Writable接口（2）反序列化时，需要反射调用空参构造函数，所以必须有...
HDFS 2.X新特性 1 集群间数据拷贝 1．scp实现两个远程主机之间的文件复制 scp -r hello.txt root@hadoop103:/user/atguigu/hello.txt // 推 push scp -r root@hadoop103:/user/atguigu/hello.txt hello.txt // 拉 pull scp -r root@hadoop1...
kettle的系列教程 kettle的系列教程kettle--window开发环境和linux运行环境的迁移kettle的输入输出组件和脚本组件kettle--变量的使用kettle的资源库kettle的jobkettle的hello world出处：http://www.cnblogs.com/dongdone/category/861657.html======...
Kettle基本使用 Kettle基本使用Kettle的几个子程序的功能和启动方式Spoon.bat 图形界面方式启动作业和转换设计器。Pan.bat 命令行方式执行转换。Kitchen.bat 命令行方式执行作业。Carte.bat 启动web服务，用于Kettle的远程运行或集群运行。Encr.bat 密码加密。转换和作业Ke...
MySQL流程控制结构 #流程控制结构/*顺序、分支、循环*/#一、分支结构#1.if函数/*语法：if(条件,值1，值2)功能：实现双分支应用在begin end中或外面*/#2.case结构/*语法：情况1：类似于switchcase 变量或表达式when 值1 then 语句1;when 值2 then 语句2;...else 语句n;end 情况2：case when 条件1 the...
MySQL存储过程和函数 #存储过程和函数/*存储过程和函数：类似于java中的方法好处：1、提高代码的重用性2、简化操作*/#存储过程/*含义：一组预先编译好的SQL语句的集合，理解成批处理语句1、提高代码的重用性2、简化操作3、减少了编译次数并且减少了和数据库服务器的连接次数，提高了效率*/#一、创建语法CREATE PROCEDURE 存储过程名(参数列表)BEGIN 存储过程体（...
85阅读
0评论
0点赞
85阅读 0评论 0点赞 85阅读 0评论 0点赞
