- 博客(63)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Redisson : Command execution timeout for command: (PING)报错解决
Command execution timeout for command: (PING)
2022-11-03 10:00:30
19168
8
原创 RedissonKeys.Delete() 方法在Cluster模式下传入空数组导致的线程卡死问题
1、问题背景最近在使用Redisson做项目的时候，发现服务启动正常，但无论怎么请求都不会有数据返回，并且没有任何异常抛出，导致整个服务处于一种看似正常运行，但早就被卡死的状态的发生。2、问题排查由于这个服务已经上线运行了三四年并无问题发生，所以导致这个现象发生的原因一定在最近更换的Redisson客户端中，通过排查发现代码中有一部分，取到的是一个空数组，并传入了RedissonKeys.Delete()方法中，代码大致如下： Config config = new Conf
2021-08-21 11:27:20
703
原创 利用注解的方式实现Resilience4J熔断器的Springboot案例
1.前期准备Maven以及Application.yml①Maven：主要需求为： io.github.resilience4j resilience4j-spring-boot2 1.5.0②Application.yml2.编写工具类①展示CircuitBreaker相关状态。②展示监听的熔断器事件。3.编写需要被保护的Service@CircuitBreaker(name = "backendA", fallbackMethod = "clientfa
2021-05-29 17:41:12
1135
原创 如何实现一个直播平台的相关基础及开源软件推荐
如何实现一个直播平台的相关基础及开源软件推荐首先我们要大致知道一个直播系统核心的构成要件主要是三部分：采集——主播使用 OBS 之类的软件来录制视频，并能够将数据发向服务器转播——服务器使用 SRS/Red5 之类的软件实现接收采集端发来的数据并转发给回放端（观众）回放——实质上就是指播放器，通常嵌入在 Web 页面或 App 里，观众通过它们来观看一、视频直播相关协议①RTMP(Real Time Messaging Protocol，实时消息传送协议)RTMP是Adobe Systems公
2021-05-29 17:35:25
872
原创 Java面试复习
最近一直在找工作，发现一些Java的基础还是很重要的，所以总结一下比较重要的基础点，大家一起复习（都是一边想一边写的可能比较乱，排版也不是很好，等抽出空来好好整理一下……）面向对象的三大特性 ：封装性，继承性，多态性 （抽像性）封装性:封装性的体现（狭义上）1.私有化属性2.提供公共的set/get方法封装性的体现（广义上）1.使用权限修饰符修饰属性。权限修饰符有四种 ：priv...
2020-01-08 13:48:49
391
原创 SparkStreaming架构介绍+IDEA的简单使用
1、概念在介绍spark的时候我们就介绍过他的一些架构，是基于sparkcore且可以附加各种工具的，sparkstreaming就是其中的工具之一，其概念和spark的RDDs比较类似，他是使用离散化流作为抽象表示出一个DStream的概念，这个DStream就是随时间推移而得到的数据的一个离散化序列。如图所示，随着时间的推移，会有不同的数据产生，而DStream就会根据设定，每隔一段时间...
2019-10-20 17:30:36
236
原创 Spark算子——cartesian（求笛卡尔积）详解+例题
cartesian：将（arr2）里的数值分别对应到arr1的第一个值上，然后分别对应第二个，第三个，组成一个个的新集合，也就是我们常说的笛卡尔积object CartesianTest { def main(args: Array[String]): Unit = { val conf=new SparkConf().setAppName("cratesian").setMast...
2019-09-22 19:49:43
3364
原创 Spark算子—Coalesce，Repartition介绍+代码详解
CoalesceAndRepartition：object CoalesceAndRepartition { def main(args: Array[String]): Unit = { val conf=new SparkConf().setMaster("local").setAppName("coalesce function") val sc=new SparkCo...
2019-09-22 19:47:12
420
原创 Spark算子—aggregateByKey详解+例题
aggregateByKeyimport org.apache.spark.{SparkConf, SparkContext}object AggegateByKeyTest { def main(args: Array[String]): Unit = { val conf=new SparkConf().setMaster("local").setAppName("Arreg...
2019-09-22 19:12:40
268
原创 Spark——Transformation&Action常用算子详解+例题解析
1、Driver program包含程序的main()方法以及RDDs的定义和操作，并且可以通过它来管理许多的executors节点。Driver program包含的sparkcontext对象：写过spark程序我们就会知道每一个RDDs的函数实现前我们都会写val sc=new SparkContext(new SparkConf)这句话，这里的sparkcontext是一个对象，Dr...
2019-09-22 19:06:45
402
原创 超简单，windows配置Spark环境实现IDEA运行spark代码（解决为何不能新建scala.class文件问题）
IDEA配置scala环境：https://blog.csdn.net/qq_40343117/article/details/1009238201、首先我们打开IDEA，新建一个MAVEN项目。名字自己起：##### 2、然后我们找到pom.xml文件，修改内容。输入：大家将配置代码输入pom.xml的 《project 》《 /project》之内，这次的不用修改它的配置版本，因为s...
2019-09-22 15:19:56
549
原创 Spark简介+RDD简介
Spark简介1、spark是什么一个快速、通用的集群计算平台。2、spark特点快速：1、spark首先是基于mapreduce来优化的一个集群计算平台，他扩充了mapreduce的计算模型。2、spark是基于内存计算的，那么基于内存的意思是什么呢？像我们平时计算数据很少会直接得到结果，都要经过几次的运算才可以得到一个准确的，精准的数值，那么每次计算都会产生一个中间的计算结果，我们...
2019-09-22 14:52:07
429
原创 hadoop2.7+spark2.4实现简单的wordcount案例
配置scala+spark教程：https://blog.csdn.net/qq_40343117/article/details/1009749501、首先进入/usr/local/spark/找到README.md文件上传到hadoop集群作为数据输入hadoop dfs -mkdir /scalahadoop dfs -put /usr/locaal/spark/README.md ...
2019-09-18 16:41:18
700
原创 Hadoop2.7集群配置Spark2.4.4
Hadoop2.7集群配置Spark2.4.4spark下载地址：https://www.apache.org/dyn/closer.lua/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7.tgzscala下载地址：https://www.scala-lang.org/download/（在网页最后）1、配置Scalascala是spark的实现...
2019-09-18 10:54:04
2879
原创 scala语言介绍以及windows环境配置+idea配置
scala语言介绍以及简单的代码讲解scala介绍（帮助理解学习scala，掌握了可以直接跳到代码）1、为什么学习scala首先我们学习大数据都会知道在整个集群中有两个运算框架，一个是mapreduce，运行很慢而且没有办法实时运算，另一个就是spark框架，它是新一代的内存级的实时运算框架，而spark的底层实现就是用scala编写的，所以我们学习scala就是为了更好的使用，理解spa...
2019-09-17 20:50:19
324
原创 Hive实战解析—汽车销售问题（代码+解析）
数据文件：https://pan.baidu.com/s/1bud5O36RtSm4dNQ17h-wuA提取码：lq3a1、创建表根据数据文件我们可以写出建表语句如下create table cars(province string, --省份month int, --月city string, --市 county string, --区县year int, --年cart...
2019-09-10 20:35:02
3656
1
原创 （超详细解答）基于mapreduce在IDEA实现——寻找两两之间的共同好友问题
问题：求出两两之间的好友：初始数据格式：用户：该用户的好友A:B,C,D,F,E,OB:A,C,E,KC:F,A,D,ID:A,E,F,LE:B,C,D,M,LF:A,B,C,D,E,O,MG:A,C,D,E,FH:A,C,D,E,OI:A,OJ:B,OK:A,C,DL:D,E,FM:E,F,GO:A,H,I,J过程梳理（一）：对应代码（一）：MAP:i...
2019-09-03 20:39:05
383
原创 windows运行mapreuce报错pathname...........is not a valid DFS filename
这个问题一看就是没有区分hadfs地址还是本地地址，但是我知道了错也不会咋改，最后尝试在path路径前面加入file\\解决问题，例如：就不会报错运行结束了，但是这样输出的不是一个文件而是一个文件夹，不过也可以查看我们的运行结果、将这个用记事本或者其他文本工具打开，就可以了...
2019-09-03 11:05:59
3509
2
原创 使用IDEA运行mapreduce（windows运行代码+hadoop运行jar包）
windows配置idea的教程：https://blog.csdn.net/qq_40343117/article/details/100351273mapreduce运行原理解析（写代码之前最好记住这些框架，否则不是很好记忆）：https://blog.csdn.net/qq_40343117/article/details/1000795321、编写代码我们使用IDEA运行mapr...
2019-09-02 20:56:54
3551
原创 window使用IDEA编译hadoop的环境配置（附赠免费windows版hadoop/bin大部分版本）
1、环境变量首先右键我的电选择属性，打开高级系统设置打开找到环境变量，在右边的系统变量中新建JAVA_HOME 和 HADOOP_HOME 如下，就名字是这个，内容是你解压后的java和hadoop 的文件夹路径。再找到Path，在里面添加设置好的java_home和hadoop_home（下图第一个是我们用绝对路径指定的，第二个是java_home指定的，因为path的内容很多，虽...
2019-09-02 19:44:24
1448
原创 又到毕业季了，给大家一些简历模板，免费的
链接：https://pan.baidu.com/s/1myOIm3zPaJqrqn4ViQMI5Q提取码：9y3c还有一些不发了，都差不多的，名字照片什么都是假的，大家改成自己的，这也是我平时从网上下的，如果有侵权啥的，告诉我马上删。...
2019-09-01 17:53:27
159
原创 超简单centos7配置hadoop2.7.7+sqoop1.4.7
sqoop下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/大家下的时候注意自己的版本！！（注意不要下sqoop2，不是给我们这类需求使用的。）1、sqoop简介sqoop是hadoop集群中一个负责hadoop与关系型数据库（mysql…）之间传输数据的工具，负责将mysql、oracle等数据库的数据导入到Hdfs、...
2019-08-30 19:49:06
1211
原创 超简单！实现flume高可用（讲解+案例）
flume介绍：https://blog.csdn.net/qq_40343117/article/details/100119574flume搭建+案例：https://blog.csdn.net/qq_40343117/article/details/100121774实现flume高可用1、概念在使用flume的高可用之前我们首先要理解什么事高可用，我们需要他来做什么，在之前的博客里...
2019-08-29 16:34:47
3073
4
原创 超简单的centos7配置hadoop2.7.7+flume1.8.0（包含例子）
超简单的centos7配置hadoop2.7.7+flume1.8.0flume配套介绍：https://blog.csdn.net/qq_40343117/article/details/1001195741-下载安装包下载地址：http://www.apache.org/dist/flume/自己选择合适版本我选择的是1.8.0，安装之前也要自己多查一查自己的hadoop版本和fl...
2019-08-28 19:33:11
1285
原创 超简单centos7配置telnet服务（下载、安装、配置、检查、连接端口）
1、检查是否安装过telnetyum list | grep telnet-serveryum list | grep xinetd2、没有则进行安装yum -y install telnet-server.x86_64yum -y install telnet.x86_64yum -y install xinetd.x86_643、设置开机启动systemctl enable x...
2019-08-28 16:58:16
776
原创 超简单的Flume的介绍
1、定义Flume是Cloundera（一个开源的大数据平台）提供的一个高可用、高可靠的分布式日志采集传输系统，结构非常简单，操作也非常的灵活。2、flume的组成结构大家大体看这个图就可以知道flume的根本目的就是将日志文件经过一系列的处理，存储到hdfs存储系统上，然后磅数我们进行...
2019-08-28 15:42:30
428
原创 hadoop进阶—Hive介绍
hadoop介绍：https://blog.csdn.net/qq_40343117/article/details/100079532hive的函数介绍（join、内置函数、窗口函数，有例子解析用法）：https://blog.csdn.net/qq_40343117/article/details/1000812281、hive是什么一个数据仓库，将我们编写的sql表映射到hdfs上，方...
2019-08-26 17:34:40
276
原创 hive函数介绍—join连接、内置函数、窗口函数（有例题）
（所有图片，语句在第一行，结果在最下面）1、join连接join普通链接根据两个表的某一列数据，将相同的，对应的数据展示出来。比如下图，如果左边表有个人叫poly，但是刚实习，所以salary表中没有他的额薪水，那么join连接的话，就不会显示他的名字。Left outer join左连接比起join的普通连接，左连接就是以左边的表为基准，这个左是你写语句时join前面的那个表，然后...
2019-08-26 17:33:38
590
2
原创 hadoop基础组成介绍（hdfs，yarn，mapreduce）
1、hadoop是什么一个分布式存储系统的框架，可以存数据，处理数据。2、hadoop由什么组成1、commom：辅助工具，就是各种包，有不同的功能。比如：org.apache.hadoop.conf，配置相关类，像我们安装完之后conf文件夹里就会有很多配置文件。org.apache.hadoop.fs,Hadoop文件系统，一个类似于linux的处理文件系统。org....
2019-08-26 15:49:30
929
原创 HIVE使用mapeduce报错： ERROR: during job,obtaining debugging information……
1、这个问题产生的原因很多，我的问题是因为没有同步内台机器的时间，利用mobaX同时输入，因为三台虚拟机分别输入要保持同步还是有点困难data -s 当前时间(13:56:40)mobaX教程：https://blog.csdn.net/qq_40343117/article/details/1000625902、有可能是map/reduce内存设置的大小问题在重新启动之后使用hive...
2019-08-25 14:28:14
534
2
原创 如何利用MobaX同时处理多台虚拟机输入相同命令
1、选择mobaX的terminal2、然后我们就可以同时操作三台虚拟机，例如一起输入source /etc/profile来更新环境变量单击退出
2019-08-25 13:55:51
9652
2
原创 centos7输入ifconfg找不到ens33/eth0网卡信息，且service network restart重启网络失败
centos7输入ifconfg找不到ens33/eth0网卡信息，且service network restart重启网络失败一天打开挂起的虚拟机突然上不了网了解决办法：关闭networkmanager服务，并禁止开机自启service NetworkManager stopchkconfig NetworkManager off 解决问题！（还不行的可以检查一下自己虚拟机/...
2019-08-25 13:50:29
986
原创 hadoop启动namenode正常但是输入JPS找不到（datanode同理）
1、配置文件的问题我们在hdfs-site.xml中配置了name和data文件夹就是用来存放我们格式化namenode之后元数据和真正datanode数据存放的信息你可以进去查看一下是否存在格式化之后出现的文件夹，namenode的机器是name里存在，datanode的机器是在data中存在如果你更改了配置文件，可以尝试复制这个文件夹到你制定的新路径下，一定要集群中所有机器都配置。...
2019-08-25 13:43:19
3318
原创 Hive初始化mysql作为元数据库失败（ERROR：sytax error...Schma script failed以及Unknow Version specifid）
首先先说我的解决办法是重装mysql，下面是我对这个问题的一点理解我第一次初始化mysql的时候提示第二次提示虽然两次错误都不一样，但是很奇怪的是明明更改了hive-site.xml的配置，为什么初始化还是提示的derby内容，我也搜了很多，加了很多配置信息，但是还是没用，这里我的错误原因是因为一开始我就想当然的直接给hive-default.xml给改名了，也没复制，最后我给复制了一个改了...
2019-08-24 19:37:56
1426
1
原创 centos7配置mysql错误集合
每个人的问题原因都是独一无二的，所以这里给大家一种解决思路，并不是解决办法，有问题的可以试一下，解决了之后记住也是一种成长。———————————————————————————————————我出现这么多错误一个是自己配置的问题，另一个就是因为在配置hive中需要mysql，所以我一直重复配置了五六次，留下了很多安装路径，导致我的mysql老是报路径问题。1、登录提示找不到mysql命令...
2019-08-24 19:29:50
364
2
原创 超简单的hive配置(完全分布式centos7+hadoop2.7.7+mysql5.7+hive2.3.5)
Hivemysql配置地址：https://blog.csdn.net/qq_40343117/article/details/997084601、下载安装包下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hive/自己选择版本点击下载bin版本2、安装Hive1、解压压缩包cd /你的压缩包路径tar -zxvf 压缩包名 -...
2019-08-24 17:21:56
1211
2
原创 解决error`ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using passwor:yes)`
解决errorERROR 1045 (28000): Access denied for user 'root'@'localhost' (using passwor:yes)1、vi /etc/my.cnf在mysqld下面加上skip-grant-tables跳过输入密码阶段2、service mysqld restart重启mysql3、mysql -uroot -p进入mysql...
2019-08-22 17:36:03
5494
3
原创 notepad++连接虚拟机修改配置文件
打开notepad++，选择插件-插件管理找到一个叫Npp-Ftp，我按过了，没安过的在Availiable里面安装以后旁边出现一个窗口，选择profile settings单击addnew，输入你的hostname输入ip地址和你的密码，username写root就可以，注意最后的目录写/就是我们配置虚拟机设置的根目录单击小管子图标，选择新建的h01连接成功，直接点击找到你想...
2019-08-22 11:11:13
787
11
mysql-connector-8.0.13.rar
2019-08-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人