qq_42577508的博客

原创 Flink——最流批的大数据框架（流批一体）

Apache Flink是Apache Hadoop的开源本地分析数据库。它由Cloudera、MapR、Oracle和Amazon等供应商提供。本教程中提供的示例是使用Cloudera Apache Flink开发的。本教程是为那些想要学习Apache Flink的人准备的。Apache Flink使用传统的SQL知识以闪电般(松鼠般doge)的速度处理大量数据。

原创 数据仓库 基础教程

数据仓库(Data Warehouse,简称DW或者DWH)是通过集成来自多个异构数据源的数据来构建的。它支持分析报告、结构化和/或特别查询和决策制定。本教程采用循序渐进的方法来解释数据仓库的所有必要概念。

原创 Hive基础教程

Hive是Hadoop中用于**处理结构化数据的数据仓库基础设施工具**。它驻留在Hadoop之上，对大数据进行汇总，**使查询和分析变得容易**。这是一个简短的教程，介绍了如何在Hadoop分布式文件系统中使用Apache Hive HiveQL。本教程可以成为你成为一个成功的Hadoop开发人员的第一步。

原创 Zookeeper基础教程

ZooKeeper是一种分布式协调服务，用于管理大型主机集群(large set of hosts)。在分布式环境中协调和管理服务是一个复杂的过程。ZooKeeper用它简单的架构和API解决了这个问题。ZooKeeper允许开发人员专注于核心应用逻辑，而不用担心应用的分布式特性。

原创 SOFTS: Efficient Multivariate Time Series Forecasting with Series-Core Fusion

本文介绍最近的一篇探索如何在更好地建模通道(channel)之间的相关性的多元时间序列文章。**文章旨在解决通道独立(channel independent)方法缺乏对通道之间相关性的利用，以及通道依赖(channel dependent)方法不够鲁棒的问题**。研究者提出了一种新颖的中心化结构传递不同通道的信息，相比于分布式结构如 Attention，Mixer 等中心化的结构，既降低了计算开销，而且提高了对于异常通道的鲁棒性，以更低的复杂度获得更好的性能。

原创 Kafka基础教程

Apache Kafka起源于LinkedIn，后来在2011年成为一个开源Apache项目，然后在2012年成为一流的Apache项目。Kafka是用Scala和Java编写的。Apache Kafka是基于**发布-订阅( publish-subscribe)的容错消息传递系统**(fault tolerant messaging system)。它是快速的，可扩展的和分布式的设计。本教程将探索Kafka的原理，安装，操作，然后将带您完成Kafka集群的部署。

原创 Flume基础教程

Flume是一个标准的、简单的、健壮的、灵活的、可扩展的工具，用于将从各种数据生产者(web服务器)中所产生的数据抽取到Hadoop中。在本教程中，我们将使用简单的说明性示例来解释Apache Flume的基础知识以及如何在实践中使用它。

原创 【已解决】错误: 找不到或无法加载主类的处理办法

错误: 找不到或无法加载主类的处理办法

原创 ssh脚本找不到命令或者执行无效的解决办法

ssh脚本找不到命令的解决办法

原创 一个案例熟悉使用pytorch

使用pytorch训练神经网络的完整流程

原创 [已解决]使用Pytorch的DataSet、DataLoad时报错：stack expects each tensor to be equal size..。

bug：RuntimeError: stack expects each tensor to be equal size, but got [4] at entry 0 and [3] at entry 30

原创 【已解决】Please install Node.js and npm before continuing installation.

安装jupyter lab 插件时，报错Please install Node.js and npm before continuing installation.

原创 （已解决）PySpark ： AttributeError: ‘DataFrame‘ object has no attribute ‘iteritems‘

PySpark ： AttributeError: 'DataFrame' object has no attribute 'iteritems'

原创 PySpark-核心编程

PySpark核心编程笔记记录，内含详细代码演示

原创 虚拟机远程连接出现 Connection refused: connect问题（已解决）

ssh：Connection refused: connect

原创 时序预测-Informer简介

Informer简介

原创 PySpark-RDD编程入门

学习PySpark时，记录的PySpark常用RDD用法，及其相关代码演示

原创 （已解决）RuntimeError: Java gateway process exited before sending its port number

RuntimeError: Java gateway process exited before sending its port number

原创 spark启动HA时workers为0，且为standby状态

spark启动HA模式发现worker为0的问题

原创 机器学习实战-习题1.7

机器学习实战-习题1.7笔记

原创 astype(‘datetime64[M]‘)无效的问题

astype('datetime64[M]') 无效的问题

原创 使用selenium用xpath获取页面元素遇到的bug以及解决办法

selenium.common.exceptions.StaleElementReferenceException: Message: stale element reference: element is not attached to the page document

原创 Selenium打开浏览器闪退问题（浏览器驱动是对应的前提）-解决办法

初学selenium遇到的浏览器闪退问题

原创 靓仔的python机器学习入门2.2-特征工程-特征提取

python机器学习中特征工程-特征提取相关知识的学习笔记

原创 靓仔的python机器学习笔记2.0

数据集的介绍

原创 靓仔的Python机器学习入门笔记1.0

学习机器学习的入门笔记1.0

原创 不使用临时变量，用异或或者加减法进行交换存在的问题

有些小伙伴可能有了解到，用异或或者加减法的方式对两个变量的值进行交换可以不用临时变量，觉得很有意思。像 int a =5; int b=6;按照一般的写法都是定义一个临时变量int temp;然后通过 temp =a; a=b; b=temp; 对数据a、b进行交换而使用异或的操作则是：a = a^b;b = b^a;a = a^b;加减法交换：a = a + b;//5+6=11b = a - b;//11-6=5a = a - b;//11-5=6这两种交换变量值的方式都不需要

原创 在启动SpringBoot项目时出现的玄学bug

Error starting ApplicationContext. To display the conditions report re-run your application with ‘debug’ enabled.看到这玩意时，我一脸懵逼，因为之前一直能启动的，突然就报这个错了，找了我好久的错，都没找到，结果重建一下工程就行了。如图，在IDEA里面点一下上面那个锤子图标，就是重建工程，然后就OK了。ps:听说这种错误的原因很多，我这个仅供参考...

原创 Sethli的408之数据结构-栈的应用（括号匹配）

#include<stdio.h>#include<stdlib.h>#include<string.h>//栈的基本操作#define MaxSize 10 //定义栈中元素的最大个数typedef char ElemType;typedef struct { ElemType data[MaxSize]; //静态数组存放栈中元素 int top; //栈顶指针}SqStack;//初始化栈void InitStack(SqStack&a

原创 Sethli的Java基础--Random类

package com.lsvictory.day07.demo03;import java.util.Random;/** * 获取一个随机的int数字(范围是int所有范围，有正负两种):int num = r.next() * 获取一个随机的int数字(参数代表了范围，左闭右开区间):int num = r.nextInt(3) * */public class Demo01Random { public static void main(String[] args) {

原创 Sethli的Java基础--匿名对象

package com.lsvictory.day07.demo02;/** * 匿名对象就是只有右边的对象，没有左边的名字和赋值运算符 * new 类名称 * * 注意事项：匿名对象只能使用唯一的一次，下次再用不得不再创建一个新的对象。 * 使用建议：如果确定有一个对象只需要使用唯一的一次，就可以使用匿名对象。 */public class Demo01Anonymous { public static void main(String[] args) { Per

原创 SethLi的Java基础--this关键字的使用

package com.lsvictory.day06.demo04;/** * 当方法的局部变量和类的成员变量重名的时候，根据“就近原则”，优先使用局部变量。 * 如果需要访问本类当中的成员变量，需要使用格式： * this.成员变量 * * "通过谁调用的方法，谁就是this" */public class Person { String name;//我自己的名字 public void sayHello(String name){ System.o

原创 Sethli的Java基础--局部变量与成员变量

package com.lsvictory.day06.demo03;/** * 局部变量和成员变量 * * 1.定义的位置不一样【重点】 * 局部变量：在方法的内部 * 成员变量：在方法的外部，直接写在类当中 * * 2.作用范围不一样【重点】 * 局部变量：只有方法当中可以使用，除了方法就不能再用 * 成员变量：整个类全都可以通用 * * 3.默认值不一样【重点】 * 局部变量：没有默认值，如果要想使用，必须手动进行赋值 * 成员变量：如果没有赋值，会有默认值，规则和数组一

原创 Sethli的Java基础--对象的内存图

一个对象的内存图两个对象使用同一个方法的内存

原创 Java基础-java中的内存划分

Java的内存需要划分成为5个部分：1.栈（stack）：存放的都是方法中的局部变量。方法的运行一定要在栈当中运行。局部变量:方法的参数，或者是方法{}内部的变量作用域:一旦超出作用域，立刻从栈内存当中消失。2.堆（Heap）：凡是new出来的东西，都在堆当中。堆内存里面的东西都有一个地址值：16进制堆内存里面的数据，都有默认值。规则： * 如果是整数类型，那么默认为0; * 如果是浮点型，那么默认为0.0; * 如果是字符类型，那么默认为'\u0000'; * 如果是布尔类型，那么

原创 Java基础-数组01

package com.lsvictory.day05.demo01;/** * 数组的概念：是一种容器，可以同时存放多个数据值 * * 数组的特点： * 1.数组是一种引用数据类型 * 2.数组当中的多个数据，类型必须统一 * 3.数组的长度在程序运行期间不可改变 * * 数组的初始化：在内存当中创建一个数组，并且其中赋予一些默认值 * * 两种常见的初始化方式： * 1.动态初始化（指定长度） * 2.静态初始化（指定内容） * * 注意事项： * 1.静态初始化没有

原创 IDEA常用快捷键

原创 使用IDEA遇到的BUG

1.Error:java: 无效的源发行版: 9原因：在创建Module时选的ModuleSDK是 java1.8，而之后的Language level：直接默认9版本的。导致版本不统一出错。解决方法：在Language level那选择和最开始选的ModuleSDK一致的jdk，例如我这里是1.8的，就选择8...

原创 小白莲的操作系统day15-5.2（完结撒花）

文章目录I/O核心子系统知识总览这些功能要在那个层次实现？I/O调度设备保护假脱机技术（SPOOLing技术）知识总览什么是脱机技术假脱机技术--输入井和输出井共享打印机原理分析知识点回顾设备的分配与回收知识总览设备分配时应考虑的因素静态分配和动态分配设备分配管理中的数据结构设备分配的步骤设备分配步骤的改进知识总览缓冲区管理知识总览什么是缓冲区？有什么作用？缓冲区有什么作用？单缓冲双缓冲使用单/双...

原创 小白莲的操作系统day14-5.1

文章目录I/O管理概述I/O设备的基本概念和分类知识总览什么是I/O设备I/O设备的分类--按使用特性I/O设备的分类--按传输速率I/O设备的分类--按信息交换的单位分类知识点回顾与重要考点I/O控制器知识总览I/O设备的机械部件I/O设备的电子部件（I/O控制器）I/O控制器的组成内存映像I/O vs 寄存器独立编址知识点回顾与重要考点I/O控制方式知识总览程序直接控制方式中断驱动方式DMA方...