Why Do You Run

原创 解决No identifier specified for entity:错误

在SpringBoot JPA项目中启动时报错No identifier specified for entity:网上大部分人说在实体类Entity上添加@Idbut 我已经添加依然没有用啊，归其根本原因是没有导入正确的@Id的依赖包应该导入import javax.persistence.*;正确的而不是导入这个import org.springframework.data.an...

原创 解决SpringCloudGateway Unable to find RoutePredicateFactory with name RewritePath 异常

想要重写访问路径时报错Unable to find RoutePredicateFactory with name RewritePath这时因为你重写路径时并没有启动filter上面为错误示例，既然想重写路由，应该在Filter中添加RewritePath正确的姿势为 #配置SpringCloud Gateway的路由 cloud: gateway: route...

原创 Load balancer does not have available server for client:xxxx

Load balancer does not have available server for client:eureka-producerSpring Cloud 报错首先确保这个服务client在注册中心有没有这里我的eureka-producer是存在的，但是为森么Eureka-Produce-Feign找不到呢？我们再去看服务Eureka-Produce-Feign指定的服务提供...

原创 Oracle两行数据相减

突然接到一个需求，所有的数据都在一张大表里，想要找出创建时间间隔大于15分钟的数据。整体思路为——将创建日期转为秒来计算，but如何进行一张表内两行时间列的差值计算呢。这里就用了Oracle提供的Lag函数。上图为数据样例，就是上一行减去下一行，以此类推知道最后。现在使用Lag函数将CreateAt列，平移添加另一列Last_CreateAt,这里不是简单的平移而是把CreateAt的第一...

原创 1024

在1024这个时间点，心中虽然感慨万千，却写不出那万水千山。还是老老实实的写个HHT吧——俗称希尔伯特变换，这里不涉及复杂的理论知识以及数学公式，这里只有简简单单的代码，如果想看详细的原理和公式推导的话请出门左拐。HHT是在EMD的基础上进行的，首先把信号进行EMD分解（俗称的经验模态分解），然后根据EMD分解得到的各个分量进行Hilbert转换得到最终的时频图。这里主要用的库就是Scipy这...

原创 Anaconda OSError: sndfile library not found

Centos7.x 导入import librosa.display 时出错，提示OSError: sndfile library not found网上找了许多方法，没有起效。这里献上我的解决方法：去这个网站根据自己的电脑下载所需要的tar.gz文件www.linuxfromscratch.org/blfs/view/7.6-systemd/multimedia/libsndfile.h...

原创 Python 使用Numpy读取文件下的所有文本的数据

import numpy as npimport os#读取文件def readname(): filePath = '/root/Rone/waveData/data' name = os.listdir(filePath) return name names = readname()arr = np.arrayfor i in names: ...

原创 jupyter使用pyqtgraph进行波形展示

直接上代码import pyqtgraph.examplesimport sysfrom scipy.fftpack import fft,ifftimport matplotlib.pyplot as pltfrom scipy import signalimport scipy as scipyimport pyqtgraph.opengl as glfrom pyqtgr...

原创 Linux Anaconda安装pyhht解决

直接使用[root@cdh03 waveData]# conda install pyhht提示找不到接着尝试查找可用的库[root@cdh03 waveData]# anaconda search -t conda pyhht还是没有找到最后然后我们直接使用pip install pyhht就能完美运行了这里来个运行示例from pyhht.visualization...

原创 Python 波形处理

使用Jupyter Notebook进行波形分析首先拿到了振动传感器的数据解释数据：我们知道机械波分为横波、竖波、以及复杂波，现实世界中全部为复杂波——上下左右都有振动。传感器每秒记录10240条数据（**每分钟仅记录前30秒的数据**），对应X轴、Y轴、以及Z轴的数据。我们这次仅分析一天 Z轴的数据。由于一秒10240条数据一天的数据量就是10240*30s*60min*24h =...

原创 Matlap生成正弦波以及正弦波转为方波代码示例

首先了解什么是正弦波：正弦波是频率成分最为单一的一种信号，因这种信号的波形是数学上的正弦曲线而得名公式：y=sin X正弦波就是长以下的样子：接下来我们用Python中的Matlap以及Numpy函数库来模拟实现正弦波，直接上代码import numpy as npimport matplotlib.pyplot as pltFs = 2; #%采样频率N = 10000...

原创 Livy设置Session生命周期

为什么要更改Livy的Session生命周期？使用LivyREST接口提交SparkJob时，任务执行成功后，过段时间Session和Job or Bathes的ID则会被清空，导致Spark任务的执行结果可能会查询不到，所以需要更改一下Livy的生命周期。首先如果是在CDH环境下，则只需要在Livy的WebUI界面更新一下配置文件。添加livy.server.session.timeout...

原创 Python 将矩形图片转为圆形图片

使用PIL库将矩形图片转为原型图片from PIL import Image, ImageDraw, ImageFilterdef crop_max_square(pil_img): return crop_center(pil_img, min(pil_img.size), min(pil_img.size))def crop_center(pil_img, crop_wid...

原创 HBASE使用Shell命令创建表

HBase Shell 基本操作

原创 解决Cannot Resolve symbol TableInputFormat HBase找不到TableInputFormat

这是是因为Maven依赖不对，新版本2.1.X版本的HBASE又双叒叕把mapreduce.TableInputFormat单独抽取出来了这里是我的Maven依赖请大家参考 <!--==================HBase ===================--> <dependency> <groupId>org.apache...

原创 Java连接Kafka创建Consumer

首先Maven依赖 <--==========KAFKA===========--> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.12</artifactId> <version>2.2.0&lt...

原创 org.apache.hadoop.hbase.PleaseHoldException: Master is initializing

HBase 创建表报错org.apache.hadoop.hbase.PleaseHoldException: Master is initializing这个情况是因为以前安装的HBASE有残留，只需要在Zookeeper Client端删除即可输入以下命令：（下面是CDH的命令。如果没有配置系统变量，你应该去zookeeper/bin下找到zookeeper-client.sh 启动客...

原创 Java连接CDH6.x Kafka创建Producer

首先pom文件中引用如下依赖<!-- ===========KAFKA-CDH6.x=============== --> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> &l...

原创 CDH 6.x kafka创建Topic失败 Replication factor: 3 larger than available brokers: 0.

在CDH上启动kafka命令 (如果cdh01后面不加端口号就是默认的zookeeper端口2181)[root@cdh03 bin]# kafka-topics --create --zookeeper cdh01 --replication-factor 3 --partitions 3 --topic test4报出以下错误 ——说没有broker可用我们去集群里看一下上面显示ka...

原创 XXL-Job使用GLUE(Java)调度REST接口

这里就不介绍xxl-job的使用教程了，很简单很好用。本次仅仅分享使用xxl-job调用REST接口的过程。首先xxl-job-admin你应该先跑起来，然后新建一个SpringBoot项目里面加上xxl-job的依赖，xxl-job的config等配置信息Maven中加入xxl-job-core的依赖<!-- ===========XXL-JOB-CORE============...

原创 域名 证书 NGINX代理配置 HTTP——>HTTPS一条龙服务

首先去买个域名，阿里云 等，随便买一个才7 ~15元，有了域名我们就可以去申请免费的证书了我是用的FreeSSL网址在这里https://freessl.cn/apply!现在我们去FreeSSL申请证书写完邮箱可能会让你验证 验证一下就好了 然后点击创建上图提示了私钥已经创建完成，我们下载保存就好（其实也用不到啦，请往下看）。上图就是私钥的内容了，我们复制上图中记录值的内容，然后去花生壳...

原创 Hadoop 集群在WebUI界面不能下载文件

Hadoop集群在50070端口可以打开，但是点击文件下载时总是没响应，但是可以在控制台通过命令下载[root@chh01 home]# hadoop fs -get /XXX/xxx.csv导致这个问题的原因是因为Hadoop需要开通的外网端口50075 or 50010 or 50020没有开通外网访问权限（当然如果你改了端口，就根据你改过后的来） 可能只需要开通50070 和 5...

原创 For Free Brook 安装教程（Linux -- Centos7.x）

首先去下载安装包[root@cdh03 Rone]# wget -N –no-check-certificate https://raw.githubusercontent.com/ToyoDAdoubi/doubi/master/brook.sh && chmod +x brook.sh && bash brook.sh接着输入命令：[root@cdh03...

原创 Spark 连接mysql提交jar到Yarn上报错Futures timed out after [100000 milliseconds]

19/08/06 13:47:33 ERROR yarn.ApplicationMaster: Uncaught exception:java.util.concurrent.TimeoutException: Futures timed out after [100000 milliseconds]at scala.concurrent.impl.Promise$DefaultPromise...

原创 Spark Error : A master URL must be set in your configuration

Exception in thread "main" org.apache.spark.SparkException: A master URL must be set in your configuration at org.apache.spark.SparkContext.<init>(SparkContext.scala:367) at org.apache.spark.S...

原创 anaconda装 jupyter 时密码问题

看了网上好多教程 总是启动不成功，**一定要按照我的步骤来，除非你的密码也是123456 直接在配置文件里改成我生成的sha1密码应该也可以**[root@cdh03 ~]# jupyter notebook --generate-config会生成以下文件-rw-r--r-- 1 root root 22597 Jul 23 17:15 jupyter_notebook_config....

原创 CDH 6.2.X 安装kafka报错

在CDH6.X版本中自带了kafka不需要我们下载parcels包角色随便分啦，(找个压力小的dangBroker)配置端口Destination Broker List 和 Source Broker List接着就报错这里是因为集群中broker默认都为0！！！我们需要将其改为唯一的。我这里是将cdh02 brokerId改为了 1，cdh03的brokerId改为了2.（我的集群...

原创 Java 创建与读取Livy Session以及结果

直接上代码package net.aas.penrose.deploy.utils;import org.springframework.http.*;import org.springframework.web.client.RestTemplate;import java.util.Map;public class LivyServerUtil { private...

原创 Java连接Livy获取session报错 code 400

参数如果这样写肯定会报400错误了HttpEntity<String> entity = new HttpEntity<String>("{'kind': 'spark'}",headers);参数传递要改成这样HttpEntity<String> entity = new HttpEntity<String>("{\"kind\": \"s...

翻译 CDH 6.x需要开端的外网端口

原创 SpringBoot 1.2.0.Release配置mybatis

公司整了个WSO2产品，WSO2中使用的SpringBoot使用的版本为1.2.0.Release！我这边写的代码要整合进去，我的代码是运行在SpringBoot 2.4.0版本上的。这样问题出现了，Springboot启动类继承的SpringBootServletInitializer 不一致，导致我的高版本不能放进WSO2项目框架中。/** * @author Rone * @date...

原创 DataSource is abstract cant be instantialted

SpringBoot整合myBatis 报错 @EnableAutoConfiguration @ComponentScan @MapperScan("dao") @EnableTransactionManagement(proxyTargetClass = true) @SpringBootApplicationpublic class DeployTestApplication e...

原创 CDH 6.x版本WebUI界面安装agent时 无法复制安装文件

CDH 6.x版本踩过的坑CDH搭建时没有装TLS安全认证（当时是直接跳过）（如果装了TLS认证以后装组件service就比较麻烦 所以就跳过了Auto TLS认证）就因为这一步，导致下面步骤 从manager端分发agent到其它主机报错无法复制安装文件 为什么报这个错？原因是你不仅没有安装TLS认证，你又想从官网上下载包，导致下载失败！解决方案就是配置本地库喽~~~~~在上一...

原创 springboot MVN导出war时却导出了jar

首先确定<packaging>war</packaging>这里是war <modelVersion>4.0.0</modelVersion> <packaging>war</packaging> <parent> <groupId>org.springframe...

原创 SpringBoot获取Json格式请求报错com.fasterxml.jackson.databind.JavaType.isReferenceType()Z

如果pom文件中存在此依赖，将其注释掉<!--<dependency> <groupId>com.fasterxml.jackson.core</groupId> <artifactId>jackson-core</artifactId> <versio...

原创 CentOS7.3卸载已安装的norch文件

查看已安装的文件yum list installed然后找打想要卸载的文件，执行以下命令（以卸载CDH安装包为例）yum remove cloudera-manager-daemons.x86_64

原创 databricks使用教程

Databricksdatabricks是使用Apache Spark™的原始创建者提供的Databricks统一分析平台它集成了Spark环境支持Scala、python、R语言进行开发。databricks分商业版本和社区版本，学生以及个人可以使用社区版本。社区版本只需要注册一下账号，则就会拥有一台配置为6G内存的Spark集群环境。Spark初学者则不再为配置开发环境而烦恼·~~~~...