Java
文章平均质量分 58
猫头鹰数据分析
十多年.Net,Java后台开发经验,有一定python爬虫和数据分析能力,专注于研究大数据基础,理论,架构与原型实现,每周分享技术干货。同时致力于python量化投资分析,欢迎关注,一起做技术研究和交流。
个人原创公众号「 猫头鹰数据分析 」,更新技术干货,欢迎关注!!!
展开
-
Rancher安装报错 Failed to bring up Etcd Plane: etcd cluster is unhealthy
[etcd] Failed to bring up Etcd Plane: etcd cluster is unhealthy: hosts [192.168.100.666] failed to report healthy. Check etcd container logs on each host for more information原创 2022-02-23 15:27:59 · 4185 阅读 · 0 评论 -
详解在Centos7.6部署最新版Rancher2并组建K8S集群
Rancher是一个开源的企业级容器管理平台。通过Rancher,企业再也不必自己使用一系列的开源软件去从头搭建容器服务平台。Rancher提供了在生产环境中使用的管理Docker和Kubernetes的全栈化容器部署与管理平台。主要包括服务管理,公有云节点管理,支持第三方用户权限管理,应用商店,api很是灵活,只是文档较少,让你更多的去参考 官方文档。原创 2022-02-23 14:43:22 · 1280 阅读 · 1 评论 -
Rancher2忘记admin登录密码
Rancher2忘记admin登录密码原创 2022-02-24 09:54:41 · 5355 阅读 · 0 评论 -
Centos7.6安装 Docker CE
Centos7.6安装 Docker CE原创 2022-02-22 11:13:06 · 629 阅读 · 0 评论 -
centos7.6安装docker-compose1.29.2
centos7.6安装docker-compose1.29.2原创 2022-02-22 11:14:44 · 2348 阅读 · 0 评论 -
Linux搭建MySQL主从复制
手把手教学在Linux搭建MySQL主从复制原创 2021-11-30 17:47:26 · 2112 阅读 · 0 评论 -
Mysql5.7.35修改root密码的解决方法
关闭正在运行的MySQL服务。 打开DOS窗口,转到mysql\bin目录。 输入mysqld --skip-grant-tables 回车。--skip-grant-tables 的意思是启动MySQL服务的时候跳过权限表认证。 再开一个DOS窗口(因为刚才那个DOS窗口已经不能动了),输入mysql回车,如果成功,将出现MySQL提示符 >。 连接权限数据库: use mysql; 。 改密码:update user set password=password("root") where原创 2021-11-11 18:23:50 · 867 阅读 · 0 评论 -
正则表达式:用户名只允许字母、数字、下划线组成,首位只能为字母(6-16字符)
用户名只允许字母、数字,首位只能为字母(6-16字符)[a-zA-Z]{1}[a-zA-Z0-9]{5,15}$手机号验证原创 2021-09-02 15:35:58 · 6036 阅读 · 3 评论 -
正则表达式:手机号验证
最新手机号段:移动 134,135,136,137,138,139,147,148,150,151,152,157,158, 159,172,178,182,183,184,187,188,195,198 移动虚拟 165,1703,1705,1706 联通 130,131,132,145,146,155,156,166,175,176,185,186,196 联通虚拟 167,1704,1707,1708,1709,...原创 2021-09-02 15:32:06 · 157 阅读 · 0 评论 -
大数据分析学习第十五课 自建云服务器集群离线安装Ambari2.7.5和HDP3.1.5(一)
之前了解了很多关于大数据平台一站式部署管理的工具,比如Apache Ambari和CDH,目前最新的CDH已经没有了社区版,也就是说以后使用新版本的Cloudera Manager和CDH都是要收费的,这对于很多小公司来说,可能无法承受。转向Ambari是他们的一个可选项。 Ambari是Apache的一个顶级开源项目,开源是其最大的优势,开源也意味着Ambari可以灵活地进行扩展,集成更多的数据组件,对于需要定制化和二次开发的企业来说,Ambari也极具吸引力。 由于之前学习大...原创 2021-08-10 19:16:20 · 1029 阅读 · 0 评论 -
hiveserver2服务的启动与简单使用技巧
一、hiveserver2简介Hive在生产上是不需要部署集群的,操作Hive只需要通过它提供的客户端即可,Hive提供了大致三类客户端:hive shell:通过hive shell来操作hive,但是至多只能存在一个hive shell,启动第二个会被阻塞,也就是说hive shell不支持并发操作。WebUI: 通过HUE/Zeppelin来对Hive表进行操作。基于JDBC等协议:启动hiveserver2,通过jdbc协议可以访问hive,hiveserver2支持高并发。简而言之,h原创 2021-08-02 20:14:45 · 13541 阅读 · 1 评论 -
Flink1.9.3运行批处理报:TableException: Create BatchTableEnvironment failed
这个主要是引用依赖的版本不对造成的,我贴出正确flink1.9.3的pom <dependencies> <!-- Flink modules --> <!-- CLI dependencies --> <dependency> <groupId>org.apache.flink</groupId> <artifactId>原创 2021-08-02 20:11:54 · 261 阅读 · 0 评论 -
大数据分析学习第十三课 实战使用Idea创建java程序运行spark的wordcount
开发工具:Intellij IDEAJava版本:JDK1.8以上在pom.xml文件中添加我们需要的jar包:spark-core<!--定义spark版本--><properties> <spark.version>2.2.3</spark.version></properties><!--spark-core核心包--><dependency> <groupId&原创 2021-07-30 20:02:35 · 563 阅读 · 0 评论 -
idea运行spark程序报错scalac: Error: illegal cyclic inheritance involving trait Iterable
执行一个spark的scala写的类,报错scalac: Error: illegal cyclic inheritance involving trait Iterablescala.reflect.internal.Types$TypeError: illegal cyclic inheritance involving trait Iterable我们打开idea项目的Project Structure选项,找到这里scala的sdk版本我用的最新的,看样子是不兼容造成的,我们最好.原创 2021-07-30 10:19:05 · 3368 阅读 · 1 评论 -
spark3.1.2运行scala报错: Exception in thread “main“ java.lang.ArrayIndexOutOfBoundsException: 28499
在用idea执行scala的类,报以下错误Exception in thread "main" java.lang.ArrayIndexOutOfBoundsException: 28499这个查找资料后,是由于我们没有引用paranamer,我们只要在pom文件中加上引用就可以解决了<dependency> <groupId>com.thoughtworks.paranamer</groupId> <artifactId>par原创 2021-07-30 10:08:45 · 1212 阅读 · 4 评论 -
spark运行报: Scala module 2.10.0 requires Jackson Databind version >= 2.10.0 and < 2.11.0
这是jackson多版本问题, 我们需要屏蔽所有hadoop 组件中的Jackson ,修改pom文件,之后就不报异常了 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>${hadoop.version}.原创 2021-07-30 11:18:01 · 4749 阅读 · 0 评论 -
spark3.1.2版本 运行报Exception in thread “main“ java.lang.NoSuchFieldError: JAVA_9
Exception in thread "main" java.lang.NoSuchFieldError: JAVA_9这是因为项目中没有配置hadoop-common和hadoop-mapreduce-client-core包,我们在pom文件里加上依赖就可以了 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId&g.原创 2021-07-30 09:09:34 · 2464 阅读 · 0 评论 -
spark程序执行报io.netty.util.concurrent.SingleThreadEventExecutor.<init>
io.netty.util.concurrent.SingleThreadEventExecutor.<init>(Lio/netty/util/concurrent/EventExecutorGroup;Ljava/util/concurrent/Executor;ZLjava/util/Queue;Lio/netty/util/concurrent/RejectedExecutionHandler;)Vnetty版本冲突,我们在idea的Terminal执行mvn depende..原创 2021-07-29 19:44:45 · 1473 阅读 · 0 评论 -
spark ERROR StatusLogger No log4j2 configuration file found.日志报错
spark ERROR StatusLogger No log4j2 configuration file found.这个错误是因为没有添加配置文件,我们在Idea项目的Resource目录下面创建一个log4j2日志的xml配置文件再执行程序就不报这个错了原创 2021-07-29 19:00:35 · 470 阅读 · 0 评论 -
springboot项目启动时提示Address already in use: bind
springboot项目启动时提示Address already in use: bindPS:web项目在启动的时候,一般会报Address already in use: bind,常规的处理思路为:删除任务管理器中的javaw.exe进程即可;当删除仍然解决不了时,一般处理思路如下,以windows系统为例。1.查看当前端口被哪个进程占用了(进入到CMD中) netstat -ano|findstr "8091" 输出结果为:C:\Users\wei.su>nets...原创 2021-07-16 19:12:03 · 1128 阅读 · 0 评论 -
swagger2访问接口文档报错
后来通过以下方法解决了解决方法:主启动类加上@ComponentScan("swagger配置类所在包")以保证配置类被扫描到找到swagger配置类所在的包路径原创 2021-07-12 10:00:59 · 733 阅读 · 0 评论 -
TypeError: Failed to execute ‘fetch‘ on ‘Window‘: Request with GET/HEAD method cannot have body.
用swagger测试java接口,报错TypeError: Failed to execute ‘fetch‘ on ‘Window‘: Request with GET/HEAD method cannot have body.经过查找原因是由于方法中申明的是get方法却用了@requestBody,我们只要这个参数前的声明去掉就可以了。下面介绍下常用请求方式和参数的对应关系1、Post请求RequestMethod.POST---》@RequestBodyRequestMetho原创 2021-06-28 11:44:41 · 1849 阅读 · 0 评论 -
java中 shiro过滤器设置接口过滤权限
今天遇到一个需求,要求后台接口不验证权限也能请求成功,由于我们的后台框架是nacos微服务,所以想到直接去改nacos中该微服务的shiro配置,我们打开shiro-common.yml文件,原创 2021-06-17 16:25:20 · 1016 阅读 · 0 评论 -
大数据分析学习第六课 使用Java语言开发MapReduce实战
我们知道,从Hadoop官网下载的部署包里,提供了不少jar包示例,但是我们不了解内部的实现逻辑,今天我就给大家介绍下,在java开发环境下怎么实现一个MapReduce reduceTask聚合操作,就是对key相同的一组数据进行处理,具体的聚合逻辑通过接口的方式暴露给用户,由用户来指定(同mapTask方式)。 reduce Task处理结果,将最后的聚合结果写入hdfs中,每个reduceTask最终形成一个文件,文件名称默认是part-r+reduceTask的编号。...原创 2021-04-08 20:11:15 · 1247 阅读 · 0 评论 -
Windows环境配置nginx和Jar包自启动(使用NSSM)
最近部署项目遇到一个自启动问题,今天给大家介绍下解决方案。我的项目是前后端分离的,后端有2个api的jar包,前端是vue写的,部署的时候其实很简单,前端项目文件用webpack打包后部署到nginx服务器上,后端的2个jar包A.jar和B.jar,有依赖关系,B依赖A,所以先启动A,再启动B,这样系统就可以运行了,但是这样有个弊端,就是重启后每次都要重新启动nginx服务 和A,B2个jar包,关键部署的服务器是客户一台经常关闭的普通电脑,客户重启后经常会联系我启动系统,于是我花了点时间搞成自动...原创 2021-03-29 19:15:42 · 2098 阅读 · 1 评论 -
大数据分析学习第四课 使用Java idea开发hdfs的基本功能-增删改查
在上节第三课中,我们介绍了Hadoop集群使用HDFS和MapReduce,我们在介绍HDFS时,都是直接运行hadoop命令来上传文件,这节课我们介绍在java环境调用和操作HDFS的文件管理功能。 我们知道,通过hadoop hive或spark等数据计算框架完成数据清洗后的数据是存储在HDFS上的,而爬虫和机器学习等程序在Python或java中容易实现,在Linux环境下编写Python或java程序没有那么便利,所以我们需要建立Python,Java与HDFS的读写通道。1、...原创 2021-03-25 19:57:29 · 624 阅读 · 0 评论 -
大数据分析学习第一课 准备虚拟机环境
2004年,葛优的电影《天下无贼》里面有一句台词,给我的印象很深刻,是一句自问自答,“21世纪什么最重要?人才!”,也是在那一年,Google公开发表了一篇论文:《简化大规模集群上的数据处理》,标志着Hadoop的计算框架MapReduce的诞生。到了2021年的今天,我想把那句话扩展一下,“21世纪什么最重要?数据和人才!”,大数据时代已经降临,在商业、经济及其他领域中,决策将日益基于数据和分析而作出,而并非基于经验和直觉。 由于近两年在工作中经常处理各种数据,我逐渐意识到自己的工作,其...原创 2021-03-23 19:41:54 · 613 阅读 · 1 评论 -
介绍几种java反编译软件使用
几种java反编译软件原创 2021-03-18 14:51:55 · 609 阅读 · 0 评论 -
利用jclasslib工具直接修改第三方jar包里面的class文件(亲测可用)
如果出于某些原因,需要修改第三方jar包里的class文件,我们能有什么办法呢?直接修改肯定是运行不了的,这里我给大家介绍一个小工具jclasslib,因为我的电脑是64位的,所以这里就安装64位版下载地址:https://github.com/ingokegel/jclasslib/releases/download/5.5.1/jclasslib_win64_5_5_1.exe源码:https://github.com/ingokegel/jclasslib版本系列:https://gi原创 2021-03-18 14:08:12 · 4385 阅读 · 4 评论 -
Erupt Framework框架配置mysql报错:Access denied for user ‘root‘@‘localhost‘ (using password: YES)
最近在CSDN上逛贴,看到一篇文章,Erupt Framework:开源神器,助你无需前端代码搞定企业级后台管理系统,很干兴趣,于是按照部署说明自己建了一个springboot项目,配置了一个demo,一切都很顺利,编译也没问题,课时运行的时候遇到了如下问题:java.sql.SQLException: Access denied for user 'root'@'localhost' (using password: YES) 我第一反应是,不可能出现这个错误,因为我有其他项目也...原创 2021-02-01 19:12:40 · 566 阅读 · 1 评论