hu10131013的博客

想接触下node开发， 打算做个node环境。

前篇文章中安装了mysql，但是系统盘只有40G，以后肯定不够用，于是，又增加了200G的数据盘，那此时就需要挂在盘，并需要将mysql的数据存储移动到数据盘中

华为云上安装mysql-5.7.38-极其详细的安装教程

Sqoop1.99.7的部署实战

Flume1.9自定义Source和Sink实战

Ganglia 的安装与部署及Flume1.9 数据流监控

大数据flume1.9部署实战

DataSet是什么 是Dataframe API的一个扩展，是Spark最新的数据抽象。 具有类型安全检查也具有Dataframe的查询优化特性，API风格更友好 DataSet支持编解码器，当需要访问非堆上的数据时可以避免反序列化整个对象，提升效率 样例类被用来在Dataset中定义数据的结构信息，样例类中每个属性的名称直接映射到DataSet中的字段名称 Dataframe是Dataset的特列，DataFrame=Dataset[Row]，所以可以通..

Spark SQL特性易整合 统一的数据访问方式 兼容hive 标准的数据链接Spark SQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet，并且作为分布式SQL查询引擎的作用SparkSession创建在老的版本中，SparkSQL提供两种SQL查询起始点：一个叫SQLContext，用于Spark自己提供的SQL查询；一个叫HiveContext，用于连接Hive的查询。SparkSession是Spark...

背景在进行sparksql编程的时候，使用select($"name", $"age" + 1)会出险报错的情况，目的参数Column类型，但是报错如下图​版本：<scala.version>2.11.8</scala.version><spark.version>2.2.0</spark.version><scala.compat.version>2.11</scala.compat.version>..

背景在使用sparksql创建DataFrame的时候，读取的数据包含_corrupt_record，在操作过程中产生错乱的问题，代码如下 <!-- 版本 --> <properties> <encoding>UTF-8</encoding> <scala.version>2.11.8</scala.version> <spark.version>2..

背景如下图，如何使用程序实现每个棋子在棋盘上的位置，如何记录上一步的棋盘盘面(回退)，采用什么数据结构实现思考：棋盘盘面是一个二维表，应该是一个二维数组，因为这个二维数组很多默认值是0，因此这里可以引入稀疏数组的概念稀疏数组和二维数组的关系思路1.默认棋盘是空（一个默认值为0的二维数组）2.下了黑棋的位置就改为1，白棋子的位置改为23.每一次的操作都记录为一个稀疏数组保存起来，为回退取值做准备代码package com.example...

集合简介Scala同时支持不可变集合和可变集合 两个主要的包：不可变集合：scala.collection.immutable（类似java中数组） 可变集合： scala.collection.mutable (类似java中ArrayList)Scala默认采用不可变集合，对于几乎所有的集合类，Scala都同时提供了可变(mutable)和不可变(immutable)的版本 Scala的集合有三大类：序列Seq、集Set、映射Map，所有的集合都扩展...

隐式转换和隐式参数及隐式类

flatMap<R>Stream<R>flatMap(Function<? super T,? extends Stream<? extends R>>mapper)返回由通过将提供的映射函数应用于每个元素而产生的映射流的内容来替换该流的每个元素的结果的流。每个映射的流在其内容被放入此流之后是closed。（如果映射的流是null则使用空的流）。flatMap()操作具有对流的元素应用一对多变换，然后将所得到的元素平坦化为新流的效果...

背景最近有人问我百度云盘或者是阿里云盘等是怎么做到文件秒传的，对于大文件如果因为网络原因是否能做到断点续传。因此，我想写个文章记录下我对这个两个问题的验证和解答。相关概念秒传秒传是一种在网盘上常见的“忽略式”上传方式，是指文件传输速度非常快。当用户向网盘中上传文件时，服务器会判断当前存储中是否有该文件，如果文件不存在就执行上传操作，如果已经存在了该文件，那就直接忽略该文件的上传，提示用户文件已经秒传，并将找到的文件链接引用给该用户(方便在使用的时候找到文件)MD5...

背景做过电商系统的人都会遇到一个场景，就是下了订单之后，订单支付会有一个有效期，超时订单自动关闭。实现的技术有很多，再次讨论基于RabbitMQ进行实现思路这个是基于RabbitMQ的延迟队列实现的，那需要讨论下什么是延迟队列延迟队列延迟队列存储的对象是对应的延迟消息，所谓“延迟消息”是指当消息被发送以后，并不想让消费者立刻拿到消息，而是等待特定时间后，消费者才能拿到这个消息进行消费 。PS: 在 AMQP 协议中，或者 RabbitMQ 本身没有直接支持延迟队列的功...

背景在使用idea 2021开发工具的时候，遇到过两次引用的的类虽然存在，但是却报错该类不存在的情况原因分析1，有可能是maven依赖下载的不正确2，有可能是因为开发工具缓存的问题解决方式刷新maven依赖或者是使用mvn clean命令将依赖清理之后重新加载清理缓存联想因为开发工具已经使用的很久，缓存历史比较多，也有可能会导致开发工具比较开，本人的情况是，清理了缓存使得开发也更加顺畅一些...

背景客户的生产环境采用的是RabbitMQ，数据是充传感器端上送到队列中，但是，目前需要做一个uat环境，数据源采用RabbitMQ中的数据，采用创建多个queue绑定传感器上送topic的方式进行引流；但是，测试环境没有做高可用，所以，这个地方存在queue中队列消费过慢，甚至服务器宕机不消费的问题，因此需要解决uat中queue消息过多的问题解决方式1、创建queue的时候指定Max length或者是Max length bytes参数2、增加Policies在Polici..

phantomjs-linux:error while loading shared libraties:libfintconfig.so.1:cannot open shared object file or directory背景使用phantomjs-linux的时候报错应该是缺少环境依赖安装上就能运行

背景最近使用scala写spark的运行jar，不小心遇到一个比较傻的坑，主要是mysql方面的报错，报错如下2021-09-13 10:26:12.426 INFO 22591 --- [launcher-proc-4] o.a.s.launcher.app.Application : Exception in thread "main" com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications .

背景在前端执行npminstall的时候报此错误原因分析有些人说是因为没有装python环境，肯定是不对的，因为的环境中是python3.8看着错误提示是语法问题，查了很多资料，说都是node.js目前只支持python2,不支持python3暂且采用换成python2.7的方案解决...

背景win10电脑，安装node.js之后，执行npm install命令居然报错关键字：Error: EPERM: operation not permitted, mkdir 'D:\Program Files\nodejs\node_cache'全部报错日志如下D:\Java\workspace_ws\milla-vue-master>npm installnpm ERR! code EPERMnpm ERR! syscall mkdirnpm ...

背景想要使用python完成爬虫，故而需要搭建环境pip命令>pip install pyspiderWARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'ProtocolError('Connection aborted.', PermissionError(13, 'Permission den.

背景IOTDB单节点的数据插入性能不是很好，所以，想看看集群的效果，那么就需要搭建集群的环境文件获取下载地址(选择集群版本)文件目录完成IoTDB Cluster安装后，默认会在IoTDB Cluster的根目录下生成下列目录文件：目录 说明 conf 配置文件目录 data 默认数据文件目录，可通过修改配置文件修改位置 ext 默认udf目录，可通过修改配置文件修改位置 lib 库文件目录 logs 运行日志..

背景物联网行业，需要存储不同设备的时序数据，数据量比较大，之前使用的是Hbase但是，鉴于Hbase对聚合操作支持的不是很友好，所以，打算替换成国产的IOTDB数据库简介IoTDB 是针对时间序列数据收集、存储与分析一体化的数据管理引擎。它具有体量轻、性能高、易使用的特点，完美对接 Hadoop 与 Spark 生态，适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。环境搭建环境要求安装前需要保证设备上配有 JDK>=1.8 的运行环境...

背景开发代码之后，需要持续自动化集成，因此选用了jenkinsJenkins介绍Jenkins是一个开源软件项目，是基于Java开发的一种持续集成工具，用于监控持续重复的工作，旨在提供一个开放易用的软件平台，使软件项目可以进行持续集成[1]下载地址https://mirrors.tuna.tsinghua.edu.cn/jenkins/war/2.255/因为下载的是war所以需要servlet容器，这里选择tomcat将jenkins.war放入tomc...

背景在新买的阿里云在线搭建docker环境当前系统环境lsb_release -a# 查看系统详细信息命令[root@iZbp18sxd8cxak3k30znshZ docker]# lsb_release -aLSB Version: :core-4.1-amd64:core-4.1-noarchDistributor ID: AlibabaCloud(AliyunLinux)Description: Alibaba Cloud Linux (Aliyun Linux) .

Error starting ApplicationContext. To display the conditions report re-run your application with 'debug' enabled.2021-07-15 19:27:05.477 [main] ERROR org.springframework.boot.diagnostics.LoggingFailureAnalysisReporter - ***************************APPL.

背景在单点登录配置url的时候，访问一个url的时候会报如下的错误2021-05-24 18:28:03.163 ERROR 17350 --- [nio-8082-exec-1] o.a.c.c.C.[.[.[.[dispatcherServlet] : Servlet.service() for servlet [dispatcherServlet] in context with path [/auth] threw exceptionorg.springframework.

背景在使用Java8进行分组的时候，有的时候需要分组返回的数据是固定的，这个就需要指定分组使用的map类型，以下是一些案例数据准备实体类(Student)public class Student { /** * 班级 */ private String grade; /** * 年龄 */ private int age; ...

背景： 在很多场景中，服务器环境不具备外网请求能力，所以很多时候需要离线安装一些软件，下面以离线安装字体为例进行描述获取安装包（需要有外网环境） 其中获取安装包有很多方式，这里采用的是使用的是yum-utils使用yum安装工具(离线下载工具)[root@localhost micro]# yum install yum-utils -y已加载插件：fastestmirror, langpacksLoading mirror speeds fro...

背景项目中有些需要初始化的配置项，希望通过mybatis-plus批量(因为自己比较懒，不想通过循环的方式存储进去[也有点太low])的保存进数据库，但是此时得到的以下的错误com.baomidou.mybatisplus.core.exceptions.MybatisPlusException: Error: Cannot execute table Method, ClassGenricType not found . at com.baomidou.mybatisplus.core...

背景在分表的背景下，有时候查询数据的时候需要跨表查询，那此时就需要MP在解析的时候，能够很好的自适应表格名称实现MP中是通过PaginationInterceptor(分页插件)完成动态表名解析的，配置如下：数据库中表依赖<dependency> <groupId>com.baomidou</groupId> <artifactId>mybatis-plus-boot-starter<...

背景maven父子工程间引用打包,产生的异常[ERROR] Failed to execute goal org.springframework.boot:spring-boot-maven-plugin:2.1.12.RELEASE:repackage (repackage) on project shop-common: Execution repackage of goal org.springframework.boot:spring-boot-maven-plugin:2.1.12.