我也要用- 博客(124)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 azkaban工作流调度系统(大数据学习22)
2. 工作流调度器azkaban2.1 概述2.1.1为什么需要工作流调度系统一个完整的数据分析系统通常都是由大量任务单元组成：shell脚本程序，java程序，mapreduce程序、hive脚本等 各任务单元之间存在时间先后及前后依赖关系 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数...
2019-03-19 17:12:35
1630
2
原创 Navicat连接阿里云轻量级应用服务器mysql
前言：在开通了轻量级应用服务器后，服务器自带Mysql，我们为了协同开发，需要远程连接服务器中的mysql，这样就可以随时随地得进行协同开发。1.开通防火墙端口数据库服务默认的端口在防火墙上是没有开通的，需要手工开通.MySQL对应的默认端口是3306，因此我们需要打开防火墙的3306端口。 路径 管理控制器 -- 防火墙-- 添加规则 2.开通M...
2019-01-09 15:58:53
1501
原创 linux 操作指令及常识
简单操作命令清屏 clear Ctrl+L 终止一个命令 Ctrl+C 编辑命令 a 重新启动虚拟机 init 6 关机 poweroff 帮助手册 外部命令 man 内部命令 help 例如： help cd 下载安装 install 例如 要查询一个命令 输入 man yum 然后输出 man command is not f...
2018-10-27 16:19:30
721
4
原创 mysql5.7.23安装详细过程
1.百度云网盘：https://pan.baidu.com/s/17ci5OcDf-bt10H7r_Hi2pw 提取码：0wmq2下载后可以把解压的内容放到你的安装目录下，我的是在E盘：E:\mysql如下图：此时加压后的文件中没有data目录和ini文件3.在E:\mysql目录下新建my.ini文件，复制如下内容[mysqld]#设置3306端port ...
2018-08-12 13:31:04
41513
26
原创 CentOS 6.5 下安装配置 mysql
一、mysql简介说到数据库，我们大多想到的是关系型数据库，比如mysql、oracle、sqlserver等等，这些数据库软件在windows上安装都非常 的方便，在Linux上如果要安装数据库，咱不得不首先推荐的是mysql数据库了，而且Mysql数据库的第一个版本就是发行在Linux系统上的。MySQL是一个关系型数据库管理系统，由瑞典MySQL AB公司开发，目前属于Oracle公...
2018-07-30 22:37:29
245
原创 pathon——1、Json格式转CSV格式
1 Json格式转CSV格式（1）单层json数据格式如下：（123.json）123.json格式数据没有进行嵌套，{"actionResult":"success","id":"7315021997","type":"userlog","time":"2020-11-09 16:55:37"}{"actionResult":"success","id":"7315021997","type":"userlog","time":"2020-11-09 16:55...
2021-01-23 15:43:19
7
原创 利用python将json文件转换为csv文件
利用python 将json文件转换为csv文件格式如下：{"record_time": "2019-04-13 17:41:34.246", "source_ip": "10.59.223.71", "destination_ip": "10.59.223.31", "protocol": "http", "destination_port": "80", "uplink_length": 278, "downlink_length": 353} {"record_time": "2019-0
2021-01-14 19:29:31
22
原创 4 Flink1.10.1对wordcount进行批处理和流处理
1 Flink使用1.10.1版本1.1 pom.xml配置包名：com.hik.myFlink.Flink74<groupId>com.hik.myFlink</groupId> <artifactId>Flink74</artifactId> <version>1.0-SNAPSHOT</version> <name>Flink74</name> <!-- FIXME .
2020-07-15 16:57:14
188
原创 磁盘调度算法剖析(FIFO、SSTF、SCAN、CSCAN、FSCAN)
常见的磁盘调度算法有以下几种：1.FIFO：先来先服务算法；2.SSTF： 最短寻道时间算法；3.SCAN：电梯调度算法；(这样命名很形象)4.CSCAN： 循环扫描算法5.FSCAN：分步电梯调度算法(分两个队列)下面详细说一下各个算法的主要思想：首先是FIFO算法，也就是先来先服务算法。这种算法的思想比较容易理解。假设当前磁道在某一位置，依次处理服务队列里的每一个磁...
2020-07-10 09:13:18
256
原创 3 DataStream API 简介
本章节是充分全面地了解 DataStream API，以便于编写流式应用入门。1 什么能被转化成流？Flink 的 Java 和 Scala DataStream API 可以将任何可序列化的对象转化为流。Flink 自带的序列化器有基本类型，即 String、Long、Integer、Boolean、Array 复合类型：Tuples、POJOs 和 Scala case classes而且 Flink 会交给 Kryo 序列化其他类型。也可以将其他序列化器和 Flink 一起使用。特别是
2020-07-09 16:54:49
92
原创 2 Flink1.11.0 原理及编程模型介绍
你将在本章学习到以下内容：如何实现流数据处理管道（pipelines） Flink 如何管理状态以及为何需要管理状态 如何使用事件时间（event time）来一致并准确地进行计算分析 如何在源源不断的数据流上构建事件驱动的应用程序 Flink 如何提供具有精确一次（exactly-once）计算语义的可容错、有状态流处理本章教程着重介绍四个概念：源源不断的流式数据处理、事件时间、有状态流处理和状态快照。基本概念介绍如下。1 流处理在自然环境中，数据的产生原本就是流式的。无论是来自 W
2020-07-09 16:40:11
162
原创 1 初学Flink
1 Flink架构1.1 什么是Flink? Flink 是一个分布式处理引擎框架，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。1.2 什么是无界流和有界流？任何类型的数据都可以形成一种事件流。 信用卡交易、传感器测量、机器日志、网站或移动应用程序上的用户交互记录，所有这些数据都形成一种流。 数据可以被作为 无界 或者 有界 流来处理。...
2020-07-09 15:10:52
64
1
原创 CDH6.2.0搭建（史上最全的安装教程）
1 集群准备 1 首先准备三台虚拟机，虚拟机ip地址可以ping通。 ip 名称 192.168.63.131 cdh1 192.168.63.132 cdh2 192.168.63.133 cdh3 2 系统环境准备在三台虚拟机上 进行网络配置， 免密登录、防火墙关闭、selinux关闭...
2020-05-08 23:47:13
2659
7
原创 前端知识点汇总
前端框架面试题：项目1 说一下做过哪些项目？2 项目难点1 vue1 说一下Vue的生命周期？2 滚动效果的实现？3 如何使用JS实现滚动效果?4 说说你对vuex的理解？5 前端路由的实现说说？2 HTML1 H5中的webstorage和cookie的区别是什么？2 H5中的语义化标签用过哪些？3...
2020-02-01 23:38:41
148
原创 两线程实现奇偶交替打印
两种方式实现：1 通过wait（）/notifyall（）方法实现/*两条线程实现交替打印奇偶数 */public class ThreadExchange { private static Object lock = new Object(); private static int i = 1; public static void main(Str...
2019-09-02 14:25:39
236
原创 线程死锁
线程死锁：创建两个字符串a和b，再创建两个线程A和B，让每个线程都用synchronized锁住字符串（A先锁a，再去锁b；B先锁b，再锁a），如果A锁住a，B锁住b，A就没办法锁住b，B也没办法锁住a，这时就陷入了死锁。直接贴代码：/*线程死锁 */public class DeadLock { public static String str1 = "str1"; ...
2019-09-02 13:36:11
117
原创 2020届秋招各大公司面经总结
提问环节问自己没答出的最重要的一个问题（如果都答出来了，就不要问啦） 面试官您好：你能具体给我讲讲目前您所在的部门具体负责公司的哪块业务，以及技术栈吗？ 面试的流程大概是什么样的？通长时间能收到2面或3面通知 如果有幸进入公司，是否可以去实习？扩展新知识机器学习了解吗？ 监督学习和非监督学习有什么区别？ 分布式集群有哪些了解？ docker有什么了解? 微服务了解吗？ ...
2019-08-25 12:30:05
1993
原创 leetCode题型总结
本文选取了LeetCode和剑指offer中的经典面试题，供大家进行参考LeetCode leetcode 总计176道题，下面根据对应目录一一对应。二分查找 位运算 分治算法 动态规划 双指针 哈希表 图 字符串 排序 搜索 数学 数组+矩阵 栈和队列 树 贪心算法 链表一、二分查找* [1. X的平方差](#1-求开方)* [2. ...
2019-08-25 12:29:52
420
原创 SQL经典题型
总共 4 张表 包括 学生表，课程表，成绩表，老师表student (sId,sName,sex,age) 学生Id，姓名，性别，年龄course(cId,cName,tId) 课程Id，课程名称，教师Idgrand(sId,cId,score) 学生Id， 课程Id，成绩teacher(tId,tName) 教师Id，教师姓名1 创建学生表create tab...
2019-07-28 23:10:46
175
原创 2020年秋招各大公司面试汇总
腾讯一面 试下 4月6日 挂1 自我介绍2 介绍一下你在项目中的承担的任务3 你对哪种语言熟悉4 线程池使用过吧，说说线程池中有哪些关键字 具体使用方法。5 说说hashMap 使用的是哪种数据结构，6说说hashMap 和 ConcurrentHashMap 的区别7为啥hashMap是线程不安全的？8锁机制怎么使用的？9如何查看linux 内存占...
2019-07-23 17:25:23
10123
11
原创 根据前序遍历和中序遍历求后序遍历
假设某二叉树的先序遍历序列是abdgcefh，中序遍历序列是dgbaechf，画出二叉树，并给出其后序遍历序列。分析过程：以下面的例题为例进行讲解：已知一棵二叉树的先序遍历序列和中序遍历序列分别是abdgcefh、dgbaechf，求二叉树及后序遍历序列。分析：先序遍历序列的第一个字符为根结点。对于中序遍历，根结点在中序遍历序列的中间，左边部分是根结点的左子树的中序遍历序列，右边部分是根结...
2019-07-19 21:29:59
5237
3
原创 每隔K步反转链表
每隔6步反转链表0->1->2->3->4->5->6->7->8->95->4->3->2->1->0->6->7->8->9每隔3步反转链表0->1->2->3->4->5->6->7->8->92->1->...
2019-07-18 23:39:22
197
原创 SQL语句
<!-- GFM-TOC -->* [一、基础](#一基础)* [二、创建表](#二创建表)* [三、修改表](#三修改表)* [四、插入](#四插入)* [五、更新](#五更新)* [六、删除](#六删除)* [七、查询](#七查询)* [八、排序](#八排序)* [九、过滤](#九过滤)* [十、通配符](#十通配符)* [十一、计算字段](#十一计算字段)...
2019-07-18 15:10:24
90
原创 MySql重点知识复习
### 1. 数据结构B Tree 指的是 Balance Tree，也就是平衡树。平衡树是一颗查找树，并且所有叶子节点位于同一层。B+ Tree 是基于 B Tree 和叶子节点顺序访问指针进行实现，它具有 B Tree 的平衡性，并且通过顺序访问指针来提高区间查询的性能。在 B+ Tree 中，一个节点中的 key 从左到右非递减排列，如果某个指针的左右相邻 key 分别是 k...
2019-07-18 15:05:54
134
原创 数组与矩阵
<!-- GFM-TOC -->* [1. 把数组中的 0 移到末尾](#1-把数组中的-0-移到末尾)* [2. 改变矩阵维度](#2-改变矩阵维度)* [3. 找出数组中最长的连续 1](#3-找出数组中最长的连续-1)* [4. 有序矩阵查找](#4-有序矩阵查找)* [5. 有序矩阵的 Kth Element](#5-有序矩阵的-kth-element)* [6....
2019-07-16 23:36:57
78
原创 栈和队列
<!-- GFM-TOC -->* [1. 用栈实现队列](#1-用栈实现队列)* [2. 用队列实现栈](#2-用队列实现栈)* [3. 最小值栈](#3-最小值栈)* [4. 用栈实现括号匹配](#4-用栈实现括号匹配)* [5. 数组中元素与下一个比它大的元素之间的距离](#5-数组中元素与下一个比它大的元素之间的距离)* [6. 循环数组中比当前元素大的下一个元素...
2019-07-16 23:35:54
73
原创 树
<!-- GFM-TOC -->* [递归](#递归) * [1. 树的高度](#1-树的高度) * [2. 平衡树](#2-平衡树) * [3. 两节点的最长路径](#3-两节点的最长路径) * [4. 翻转树](#4-翻转树) * [5. 归并两棵树](#5-归并两棵树) * [6. 判断路径和是否等于一个数](#6-判断路径和是...
2019-07-16 23:35:09
76
原创 贪心算法
<!-- GFM-TOC -->* [1. 分配饼干](#1-分配饼干)* [2. 不重叠的区间个数](#2-不重叠的区间个数)* [3. 投飞镖刺破气球](#3-投飞镖刺破气球)* [4. 根据身高和序号重组队列](#4-根据身高和序号重组队列)* [5. 买卖股票最大的收益](#5-买卖股票最大的收益)* [6. 买卖股票的最大收益 II](#6-买卖股票的最大收益-...
2019-07-16 23:33:15
67
原创 链表
<!-- GFM-TOC -->* [1. 找出两个链表的交点](#1-找出两个链表的交点)* [2. 链表反转](#2-链表反转)* [3. 归并两个有序的链表](#3-归并两个有序的链表)* [4. 从有序链表中删除重复节点](#4-从有序链表中删除重复节点)* [5. 删除链表的倒数第 n 个节点](#5-删除链表的倒数第-n-个节点)* [6. 交换链表中的相邻结...
2019-07-16 23:32:01
66
原创 数学
<!-- GFM-TOC -->* [素数分解](#素数分解)* [整除](#整除)* [最大公约数最小公倍数](#最大公约数最小公倍数) * [1. 生成素数序列](#1-生成素数序列) * [2. 最大公约数](#2-最大公约数) * [3. 使用位操作和减法求解最大公约数](#3-使用位操作和减法求解最大公约数)* [进制转换](#进制转换) ...
2019-07-16 23:24:54
62
原创 面试算法题(2)—字符串类型的小数转换成double类型的小数值
自己编写算法，将一个字符串类型的小数，转换成double类型的小数。比喻："15.246"转换成15.246，不能使用系统提供的Integer.parseInt和Double.parseDouble等方法。嗯，这个确实可以实现，转换成int类型就简单了。但是，小数怎么办？以小数点为分隔符，切割成两个字符串，然后各自转换成int类型，然后再后期处理成double即可。嗯，理解。简单了，下面...
2019-07-13 15:50:53
663
原创 面试算法题(1)-两个大数相加
两个大数相加。1、是整数；2、两个数无限大，long都装不下；3、不能用BigInteger；4、不能用任何包装类提供的运算方法；5、两个数都是以字符串的方式提供。两个字符串的数字，怎么相加？其实也简单，核心点考的是ASCII码和相加进位的问题。比喻字符类型的'9'怎么转换成int的9？'9' - '0' = 9。这个算法能理解吗？char类型进行算数运算时是不是自动转...
2019-07-13 11:09:47
385
原创 动态代理模式
代理模式：概念：用一个代理类去代表另一个实体类的功能，让调用类去访问代理类。解决问题：在直接访问对象时带来的问题，比如 要访问的对象在远程机器上。应用实例：1 Spring AOP 2 一张支票在交易市场用来代替现金。 3买火车票去代理点，不一定非要去火车站。动态代理模式 分为两种 一种JDK动态代理，一种CGLIB代理模式JDK 自带的动态代理java.lang...
2019-07-13 00:06:36
43
原创 算法题总结
1. 两数之和给定一个整数数组 nums和一个目标值 target，请你在该数组中找出和为目标值的那两个整数， 并返回他们的数组下标。 你可以假设每种输入只会对应一个答案。但是，你不能重复利用这个数组中同样的元素。 示例: 给定 nums = [2, 7, 11, 15], target = 9 因为 nums[0] + nums[1] = 2 + 7 = 9 所以返回 [0...
2019-07-11 22:38:46
156
原创 各大公司大数据面试题
大数据流处理技术各个的区别和联系 大数据批处理技术各个的区别和联系 Hive和HBase的存储区别 HDFS介绍、读写特性 Elasticsearch的介绍 ES和HDFS的区别 HDFS HA集群搭建过吗？是个什么架构？NN只有一个吗？SNN干嘛的？能接替NN吗？ 如果让你设计一个分布式文件系统，需要考虑什么？你的设计有什么好处，有什么缺陷？ spark执行机制，RDD、DAG等...
2019-07-05 15:51:57
820
原创 二叉树所有题目
最近总结了一些数据结构和算法相关的题目，这是第一篇文章，关于二叉树的。先上二叉树的数据结构：class TreeNode{ int val=0; //左孩子 TreeNode left=null; //右孩子 TreeNode right=null;public TreeNode(int val) { this.val = val...
2019-07-04 22:42:22
1147
原创 java初、中、高级面试题必备——数据结构与算法—队列&栈
队列192.描述一下队列？队列是一种先进先出(FIFO)的数据结构，从队尾进，从队头出在 FIFO 数据结构中，将首先处理添加到队列中的第一个元素。如上图所示，队列是典型的 FIFO 数据结构。插入（insert）操作也称作入队（enqueue），新元素始终被添加在队列的末尾。 删除（delete）操作也被称为出队（dequeue)。 你只能移除第一个元素。示例 - 队列...
2019-06-26 18:19:32
86
原创 java初、中、高级面试题必备——数据结构与算法—二叉树
181.什么是树结构树(Tree)结构是一种描述非线性层次关系的数据结构，其中重要的是树的概念。树是" n个数据结点的集合，在该集合中包含一个根结点，根结点之下分布着一些互不交叉的子集合， 这些子集合是根结点的子树。树结构的基本特征如下：在一个树结构中，有且仅有一个结点没有直接前驱，这个结点就是树的根结点； 除根结点外，其余每个结点有且仅有一个直接前驱； 每个结点可以有任意多个直接后...
2019-06-26 17:48:26
157
原创 java初、中、高级面试题必备——数据结构与算法—二分查找
179.什么是二分查找？二分查找中使用的术语：目标 Target —— 你要查找的值 索引 Index —— 你要查找的当前位置 左、右指示符 Left，Right —— 我们用来维持查找空间的指标 中间指示符 Mid —— 我们用来应用条件来确定我们应该向左查找还是向右查找的索引二分查找算法：给定一个n个元素有序的（升序）整型数组nums和一个目标值target...
2019-06-26 15:59:28
264
MapReduce清洗的日志数据集
2019-03-13
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人 TA的粉丝