- 博客(122)
- 资源 (13)
- 收藏
- 关注
RSS订阅原创 1.flink快速入门
下图表示的是一个简单的flink-job的计算图，这种图被称为DAG(有向无环图)，表示的这个任务的计算逻辑，无论是spark、hive、还是flink都会把用户的计算逻辑转换为这样的DAG，数据的计算按照DAG触发，理论上只要构建出这样一个DAG图，就可以描述清楚用户的计算逻辑，在DAG的基础上，将Node并行化就可以将整个job并行化。
2023-08-19 22:34:31
599
原创 k8s快速入门
快速入门系列旨在以最少的时间对知识取得最直观的认识，start！1.k8s组件k8s和大多数大数据框架一样，为master-slave结构，其中master和node节点可以为一到多个，分为一主多从架构（平时玩）和多主多从架构（生产）master：kubectl：用户的控制命令，想一下systemctl apiserver：集群的唯一入口，接收用户的命令 scheduler：资源的调度器，说的简单点就是它告诉你哪台节点可用 controller-manager：控制节点的组件，比如
2021-12-16 23:20:15
1656
原创 Linux环境下MySQL数据库的安装配置
引言近期学习hive和Kafka eagle的过程中，需要环境中有MySQL服务，于是自己动手搭建MySQL环境，本以为是个很简单的事情，随便在网上搜一搜教程就可以完成，没想到按照大多数教程安装之后，MySQL都不可用，于是我自己安装配置成功后，记录一下安装的步骤。1.系统环境和准备工作我的Linux系统是cengtos6.8，安装在虚拟机中的，准备安装的MySQL版本是5.6.24版本，MySQL的安装包https://download.csdn.net/download/Haidaiya/1
2021-03-20 15:08:26
171
原创 Leetcode001两数之和(解题思路-java解法-scala解法)
解题思路Java解法package leetcode;import java.util.HashMap;public class L01两数之和java { public static void main(String[] args) { } public int[] twoSum(int[] nums, int target) { // 定义一个hashmap HashMap<Integer, Integer>.
2021-03-05 20:06:51
253
原创 网络科学—Windows下生成LFR人工网络数据集的步骤
目录1 引言2 步骤2.1 下载LFR程序包2.2 解压LFR程序包2.3 进入cmd程序2.4 生成LFR网络1 引言很多做网络科学研究的学者研究生等都需要经常用到人工网络的数据，最为常用的就是LFR人工网络，下面详细描述了LFR网络的生成方式2 步骤2.1 下载LFR程序包直接点击链接下载即可LFR人工网络生成包不需要积分，点个关注就可以下载咯2.2 解压LFR程序包直接解压即可，下图是我解压的路径2.3 进入cmd程序在解压.
2021-01-12 13:42:44
2753
2
原创 JVM知识白话讲解
首先JVM全称java虚拟机，是java面试过程中常问的问题，这里对JVM作讲解，足以应付面试，以后工作中如果用到，还需要深耕，学习以下知识大概1小时就可以应付一般的面试了一、JVM内存结构以上蓝色部分表示线程私有的，表示每个线程单独都有一份：栈、本地方法栈、程序计数器。黄色部分表示线程共有的部分：堆、方法区。首先看线程私有的部分：栈：栈是一种先进后出的数据结构，代码的运行就是压栈弹栈的过程；本地方法栈：java底层保留了许多c写的方法，这些c写的native方法就是依靠本地方法栈执行；程序
2020-09-11 14:06:47
222
原创 Java面试题更新帖（2020年05月20日更新）
一、Spring1.谈一谈Spring中的IOC容器和DI依赖注入答：Spring中的IOC容器，即inverse of control控制反转，举个例子，在使用Spring之前，我们在service层使用dao层的对象时，我们都习惯new一个dao层的对象使用，这是一种很强的依赖，不符合Java中低耦合高内聚的原则，为了解耦，我们就引入了工厂模式，原来我们获取对象的方式都是自己new出来...
2020-04-19 14:39:59
350
原创 JAVA实习找工作——多线程
线程的创建方式一/** * 从创建多线程的方式一 * 1.创建一个类继承Thread * 2.重写Thread类的run方法-方法体的内容就是你这个线程想要完成的任务 * 3.在主方法中new类的对象 * 4.调用这个对象的start方法 * 此时主线程main在运行，我们自定义的线程也在运行 */package com.eight;/** * 从创建多线程的方式一...
2020-04-16 19:44:11
348
原创 JAVA实习找工作——集合相关问题
引言先简述Java中的集合结构，分为两类：单列集合Collection和双列集合Set单列集合Collection：有序可重复，一般用来代替数组，称作可变数组双列集合Map：ArrayList、Vector、和LinkedList的区别ArrayList：作为List接口的主要实现类之一，线程不安全，效率高，底层使用Object[] elementData存储。...
2020-04-15 15:56:06
304
原创 JAVA实习找工作——反射机制和动态代理
引言代理模式是23种设计模式中的一种，是比较重要的知识，在Spring框架中比较重要的AOP（Aspect Oriented Programing）也是基于动态代理实现的。代理的理解关于代理的理解，我举个例子说明：20年前，我们想要购买一台联想电脑的方式是：我们去联想的工厂，工厂卖给我们电脑，并且提供售后的服务。在这几十年的发展中，出现了一些经销商，他们从联想工厂进货，然后卖给我们...
2020-04-14 15:39:14
214
原创 网易2019笔试牛牛找工作Java解法
题目描述为了找到自己满意的工作，牛牛收集了每种工作的难度和报酬。牛牛选工作的标准是在难度不超过自身能力值的情况下，牛牛选择报酬最高的工作。在牛牛选定了自己的工作后，牛牛的小伙伴们来找牛牛帮忙选工作，牛牛依然使用自己的标准来帮助小伙伴们。牛牛的小伙伴太多了，于是他只好把这个任务交给了你。输入描述每个输入包含一个测试用例。每个测试用例的第一行包含两个正整数，分别表示工作的数量N(N&l...
2020-04-12 20:57:10
327
原创 JAVA实习找工作——深度优先搜索
深度优先搜索，又叫做dfs，是一种搜索算法，关于这种算法最好就是题目实践，下面举几个例子讲解dfs例题1：输入n，请输出1-n的全排列深度优先搜索的思路如下public static void dfs(int step){ 判断边界，递归的出口 for(尝试每一种可能){ 继续下一步dfs(step+1) }}这里假设n=3，那么就是求...
2020-04-02 13:26:52
198
原创 JAVA实习找工作——递归与循环
递归是一种很重要的思想和算法，我记得大学中很流行的编程比赛，比如蓝桥杯、ACM、程序设计天梯赛等等，很多题目都可以使用递归来求解。理解递归需要三句话：（1）递归就是循环（2）递归就是一个方法不断的调用自己（3）递归需要一个出口，必须有if语句停止方法的调用下面用三个简单的例子来说明一下递归三个例子分别是输出0-9；对数组求和；判断字符串是否相等。这三个例子都可以很好的使用f...
2020-04-01 21:16:17
213
原创 JAVA实习找工作——冒泡排序、快速排序
一、冒泡排序冒泡排序是一种基本的排序算法，主要的思想是：假如要求从小到大排序，比较相邻的元素，当左边的元素大于右边时，就交换位置。比如一个数组：9-18-6-5-12。将这5个元素从小到大排序，思路如下（1）比较第1位和第2位，不用交换；比较第2位和第3位，交换9-6-18-5-12；比较第3位和第4位，交换9-6-5-18-12；比较第4位和第5位，交换9-6-5-12-18。此时，...
2020-03-31 21:03:50
260
原创 《白话深度学习与Tensorflow》读书笔记01
目录第一章 机器学习是什么1.1 聚类1.2 回归1.3 分类在入门深度学习的过程中，一直依赖于视频教程的讲解，其实这样是不科学的，目前深度学习的相关教学视频都是由一些知名的博士讲解，还是晦涩难懂的，毕竟差距太大，很难学到一些东西，书籍以及论文才是正确的学习方法，但是论文大多数都是国外的大佬写的，对于英文水平还是有一定要求的，作为工科生（以后不搞学术来说）还需要结合动手才能事半...
2019-01-05 19:18:47
740
原创 Hadoop从入门到精通系列之--5.HDFS的API
目录一 客户端环境1.1 配置环境变量1.2 eclipse/IDEA准备二 HDFS的具体API操作2.1创建HDFS客户端对象并测试创建文件夹2.2 测试文件上传2.3 测试文件下载2.4 测试删除文件夹2.5 测试查看文件详情2.6 判断是文件夹还是文件一 客户端环境前面博客叙述了HDFS的shell操作，回顾一下：使用bin/hadoop ...
2018-12-10 22:25:06
515
原创 Hadoop从入门到精通系列之--4.HDFS概述和HDFS的shell操作
目录一 HDFS概述二 HDFS的优缺点2.1优点2.2缺点三 HDFS的组成结构四 HDFS文件块的大小4.1 什么是块4.2总结五 HDFS的shell操作5.1基本语法5.2常用命令一 HDFS概述HDFS（Hadoop Distributed File System）是一个文件系统，主要用来解决一个操作系统不能存储大量数据，所以讲...
2018-12-09 21:26:44
456
原创 Hive从入门到精通系列之--0.Hive概述和安装环境
一 Hive概述Hive是由Facebook开源用于解决海量结构化日志的数据统计Hive是基于Hadoop框架的一个数据仓库分析工具，这里对于数据仓库，何为数据仓库？mysql，orical，sqlserver我们叫这些为数据库，所谓数据仓库就是在这个数据仓库中这些数据库都包含了进去。Hive既然是基于Hadoop的，那么也就意味着启动Hive之前必须要启动Hadoop，Hive可以...
2018-12-06 14:39:54
875
1
原创 Hadoop从入门到精通系列之--3.完全分布式环境搭建
目录一 什么是完全分布式二 准备服务器三 集群分发脚本3.1 scp（secure copy）安全拷贝3.2 rsync远程同步3.3 集群分发脚本四 集群规划4.1 规划思想4.2 具体配置4.3 ssh免密登陆一 什么是完全分布式之前3篇博客搭建的环境都是伪分布式的环境，就是说除了我自己的电脑（win10）外，只有一台服务器（Linux），这在真...
2018-12-04 20:29:58
618
原创 Zookeeper从入门到精通系列之--1.Zookeeper的API操作
一 IDEA环境搭建1.1 创建一个maven项目在pom.xml添加如下依赖 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId...
2018-12-02 21:26:49
914
原创 Zookeeper从入门到精通系列之--0.Zookeeper概述及安装环境
目录一 Zookeeper入门1.1 概述1.2 Zookeeper的特点1.3Zookeeper的文件系统1.4 Zookeeper的下载二 Zookeeper分布式安装2.1 解压配置三 集群启动四 Zookeeper重点4.1Zookeeper选举机制4.2监听器原理一 Zookeeper入门1.1 概述Zookeeper（润滑剂）是为...
2018-12-02 19:21:40
2876
原创 Hadoop从入门到精通系列之--2.本地模式和伪分布模式
目录一 Hadoop本地模式和伪分布式模式概述二 Hadoop伪分布式环境搭建2.1步骤分析2.2配置集群2.3启动集群2.4 配置YARN2.5启动集群（带YARN）2.6查看YARN三 在集群上运行第一个程序3.1 准备wordcount程序3.2历史服务器配置一 Hadoop本地模式和伪分布式模式概述安装了Hadoop环境之后，只是搭建了...
2018-11-29 20:51:29
537
原创 Hadoop从入门到精通系列之--0.Hadoop生态体系
目录一 大数据的组织部门结构二 Hadoop的组成部分2.1 HDFS2.2 YARN2.3 MapReduce三 Hadoop生态体系四 Hadoop的目录结构4.1 bin目录4.2 etc目录4.3 lib目录4.4 sbin目录4.5 share目录一 大数据的组织部门结构要向着数据挖掘组的职位努力，平台组偏向于运维方向，数据仓库...
2018-11-27 18:54:49
2231
1
原创 Maven中pom.xml第一行一直报错
目录一 Maven项目pom.xml第一行报错的原因二 解决办法一 Maven项目pom.xml第一行报错的原因大概情况是这样的，当我们在pom.xml文件中添加依赖保存时，由于一些原因：网速很慢导致下载很慢；下载未完成IDE关闭导致下载失败，再次打开时会发现pom.xml文件的第一行会报错。二 解决办法右击项目，选择maven 点击update project...
2018-11-26 21:17:34
1155
原创 计算机网络五层结构自顶向下详解
今天在研究生现代网络原理课程上期末答辩中以《高并发大流量网站设计应对技术》夺冠，这是来校三个月来唯一顺心顺意的事情了，很久没有写博客了，今天写两篇，分别是自顶向下解释互联网五层结构，自底向上解释互联网五层结构；为什么做这两个题目呢？第一篇解释你的qq消息是如何发送到另外一个人那里去的，第二篇解释你是如何从网络中接受到你的qq消息的，我觉得这个还是蛮有意思的。现在告诉各位计算机网络就分为这五...
2018-11-15 21:20:50
4254
原创 MapReducer纠错之序列化反序列化问题
在MapReducer编程中经常会出现序列化反序列化的说法在这里解释一下序列化：序列化的意思就是把内存中的对象变成字节存储到磁盘上反序列化：反序列化的意思就是把磁盘上的对象活化到内存中说到这里也许还是没有说清楚序列化的意思，在大数据中，假设有一个非常大的集群，也就是很多计算机，这一群计算机叫做集群，MapReducer程序就是一个计算数据的程序，当A这台机器计算完毕之后，A要把工作...
2018-11-14 21:37:34
460
原创 26（eclipse自动代码提示和自动代码补全）
一般情况下，eclipse的代码自动提示是关闭的，对此其实是很不方便的，你需要输入点才会有提示，或者alt+/才会提示，这样平均每天会浪费半个小时到一个小时。设置方法eclipse工具栏window————preferences将红框中的内容修改为.abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ ...
2018-10-24 15:33:37
327
原创 1 （eclipse中的maven设置）
1 需要设置的地方第一步设置如下第二步设置如下2 使用maven的三大操作（1）创建maven版java工程的如果你和我一样第一次创建，看到这样的项目结构，不要害怕，想当初我很慌，怎么跟老师说的不一样呢，其实这是maven在下载必要的插件。查看eclipse的右下角就可以看见了，也可以直接点开他，更明显（2）创建maven版web过程...
2018-10-23 20:49:44
229
原创 Hadoop从入门到精通系列之--1.环境搭建
目录 一 Hadoop简介二 Hadoop运行环境搭建前准备2.1虚拟机准备2.2网络配置2.3修改Linux主机名称三 Hadoop运行环境搭建3.1 克隆虚拟机3.2修改静态ip3.3修改主机名称（见上）3.4关闭防火墙3.5创建用户wanglei3.6给wanglei配置root权限3.7在/opt下新建software存放安装包，mo...
2018-10-17 12:32:35
826
1
原创 4（Linux挂载硬盘）
1 Linux的挂载原理Linux的挂载原理是磁盘的分区与Linux之间的文件系统有一定的联系，当存在上图中的线时，我们成磁盘挂载在某某目录下。2 具体步骤（1）划出一块硬盘（2）重启服务器，使用lsblk查看磁盘（3）给sdb磁盘进行分区（4）分区之后格式化（5）挂载（6）永久挂载（7）取消挂载...
2018-10-15 21:39:29
237
原创 7（多表查询）
1 外键和一对多关系外键的概念我很难用我的语言表达出来它的意思。举例永远是最好解释的方法，建两张表，分别是商品分类表和商品信息表分析一下这两张表的关系，其实很好理解，一个分类对应着多种商品，多种商品对应着一种分类，这明显是一对多关系，商品分类表为一，商品信息表为多，为了在数据库中表达他们之间的关系，在多的一方添加一列，这一列就叫外键，就是上图中的category_id，这里...
2018-10-12 16:01:36
335
原创 25（java中的反射和动态代理）
1 概述反射获取的都是class对象，以下是在不同的阶段获取对象的方式。2 源文件阶段class对象的作用可以利用全类名创造对象，具体代码为：3 class对象获取类中的字段（即成员变量）注释：通过Class.forName()获取到了Person的字节码对象 getConstructor（）方法返回构造方法，注意参数需要使用Class对...
2018-10-11 20:50:43
181
原创 3（rmdir无效选项 --r问题）
今天在学习Linux的过程中，自己遇到了一个问题，觉得很多人可能会遇到，拿出来写一写当出现指令问题的时候，使用 man rmdir可以查看帮助此时就能打开帮助文档，我遇到的这个问题是关于删除目录的命令rmdir 目录。为什么会出错呢，因为我想删除非空的目录，错误的将-rf 加在了rmdir上，正确指令应该是rm -rf。新手还是蛮容易犯错的。 ...
2018-10-10 13:22:58
2514
1
原创 24（多线程3）
1 单例设计模式保证类在内存中只有一个对象。有三种写法，下面分别介绍（1）饿汉式为什么叫它饿汉式写法呢，因为它在创建类的时候，不管三七二十一就直接创建了s对象，也不管s会不会被使用，相反，还有一种写法叫懒汉式写法。（2）懒汉式（单例延迟加载模式）多线程访问会有安全隐患，所以开发不用（3）无名氏2 单例模式类之Runtime3 单例模式类之Timer（...
2018-10-10 12:34:52
218
原创 23（多线程2）
1 休眠线程2 守护线程这个概念需要解释一下，以象棋为例，非守护线程相当于帅，守护线程相当于车马相士，当帅都没了，车马相士就失去了它的意义了，就是非守护线程停止了，守护线程也就gg了。结果就是aaaa不会输出50次了。3 加入线程（插队线程）4 礼让线程和设置优先级setPriority（）5 同步代码块同步代码块这里也需要解释一下，有的时候回发生一...
2018-10-09 20:20:57
230
原创 22（多线程1）
1 多线程2 多线程的原理3 并行和并发的区别4 java是多线程吗5 多线程的实现方式一（继承Thread）6 多线程的实现方式二（实现Runnable）7 两种方式的区别8 匿名内部类实现线程的两种方式9 获取当前线程 ...
2018-10-09 16:45:03
209
原创 6 （分页查询）
关于分页查询，很重要单独拿出来讲述limit关键字后面跟上2个参数如 limit a，b其中a表示起始位置，b表示每页显示数据的数量b肯定是我们自己给定的，那么a如何确定呢？比方说我想要查询第三页的数据，该如何确定a的值呢？a = （我们想查的页数 - 1）* 每页显示的条数即想查第三页，每页显示3条，a = （3-1）*3 = 6， b = 3；...
2018-10-09 12:57:39
192
1
原创 5（JDBC）
1 原理 Java DataBase Connectivity（JDBC）2 导包3 单元测试4 JDBC测试登录功能（分2步校验和防止SQL注入）package com.haidai.test;import java.sql.Connection;import java.sql.DriverManager;import java.sql.Prepar...
2018-10-08 21:10:53
175
1
Mybatis.pdf
2019-09-16
SpringMVC.pdf
2019-09-16
Spring.pdf
2019-09-16
尚硅谷大数据之Hadoop入门
2018-11-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人