- 博客(31)
- 收藏
- 关注
RSS订阅原创 如何通过Nacos获取当前服务注册的IP信息
一台机器可能存在多个网卡也就同时存在多个IP地址,如果我想知道我这个服务在向Nacos注册的时候使用的哪一个IP该怎么获取呢?也可以在任意地方注入nacos的NacosDiscoveryProperties来获取比如下面。输出的就是本机向Nacos注册的IP地址。非常简单,你可以通过这种方式获取。
2023-06-21 22:45:35
3325
原创 IDEA中Maven父工程与子模块显示在同一层级
问题:在idea中子项目模块未显示在父工程下,这样通常在打包的时候容易打错而不自知,在idea中是可以调整的使得,maven子模块显示在父工程路径下,这样查看maven工程的时候项目会比较清洗,有强迫症的同学看着也会比较舒服. 希望:显示成如下格式方法:惦记maven右上角的设置图标,选中第一个模块分组展示即可
2022-12-04 23:12:25
8403
12
原创 Springboot如何通过InitializingBean, DisposableBean创建守护线程DaemonThread
背景: 最近工作在项目中需要添加多个守护线程,来处理一些功能,因此想通过Spring注解的方式开发一个这样的功能(直接setDaemon(true)也能开启守护线程,但是不够优雅,我是个优雅的人O(∩_∩)O哈哈~,anyway just joking)废话不多说先简单介绍一下这两个接口的作用 InitializingBean 与 DisposableBean是一对相爱相杀的好朋友,一个初始化,一个销毁.有一个afterPropertiesSet方法,他的功能是在Bean。执行方法里面的代码.
2022-10-13 11:28:13
1545
1
原创 根据当前日期获取前一天日期-小工具
功能描述：用户在数据中台定义定时任务，任务需要按照指定时间启动，并且获取指定分区的数据，比如T-1的数据，定时任务在2022-09-01 12:00:00 启动任务，获取的分区必须是前一天11:30生成的分区数据，同时今天的定时任务生成的数据存入2022-09-01 11:30分区中，并且分区格式为yyyyMMddHHmm ， 该需求需要通过Java自动生成。前言：最近在做Hive数据中台的项目，关于Hive分区部分需要在前端定义，且需要满足日期自定义，日期随定时任务自动填充。
2022-09-01 19:53:53
1404
原创 Hadoop-Yarn奇葩问题整理
Error: Could not find or load main class org.apache.hadoop.mapred.JobClientError: Could not find or load main class org.apache.hadoop.yarn.client.cli.ApplicationCLI
2022-06-13 17:02:46
597
原创 基础篇八 Spark配置与安装
目录文章导读Scala安装Spark安装结束文章导读Spark安装与配置需要提前安装Scala支持,需要在sca要在scala官网下载安装包,在Spark官网下载安装包.Scala安装# 解压[root@hadoop01 src]# tar -zxvf scala-2.11.12.tgz# 移动至指定目录[root@hadoop01 src]# mv scala-2.11.12 ../soft/# 修改环境变量[root@hadoo...
2022-05-29 23:41:09
1004
原创 基础篇七 Hive-2.3.9安装与配置
目录文章导读Hive下载Hive安装修改hive-env.sh编辑增加hive-site.xmlHive启动初始化Hive启动参考博文文章导读Hive是基于Hadoop的数据管理工具,通常用于大数据环境下的OLAP系统,本次安装的Hive2.3.9版本是基于Hadoop2.10.1版本Hive下载 进入Apache Hive的官网,找到下载链接进入Hive版本库,这里有各大版本的推荐,和历史版本的仓库,可以根据自己的...
2022-05-29 20:50:00
2057
原创 基础篇六 CentOS7.9安装MySQL5.1.47
文章导读MySQL的安装是为了后续安装Hive做准备的,Hive需要MySQL作为远程连接的元数据库,因此在安装Hive之前,先把MySQL的相关安装和配置工作准备完成.安装包下载 该说不说MySQL的下载是真的麻烦,可以说Apache旗下的所有产品都不方便下载,以下是下载mysql-5.1.47.rpm的操作方式,仅供参考.MYSQL官网MySQL安装卸载自带,参考连接# 检查系统中是否已经安装了MySQL[root@hadoop01 src]# rpm -q...
2022-05-29 18:24:58
1105
原创 基础篇五 Hadoop高可用集群搭建
目录文章导读Hadoop下载Hadoop解压Hadoop高可用配置核心配置hdfs配置yarn配置mapred配置修改hadoop-env.sh配置环境变量分发安装包启动Zookeeper启动Hadoop启动journalnodehdfs格式化zkfc格式化namenode主从同步启动HDFS启动YARN在hadoop02节点上手动启动备用的resourcemanager参考文章文章导读 大数据高...
2022-05-29 13:24:32
1099
原创 基础篇四 大数据Zookeeper环境搭建
目录文章导读下载ZK解压ZK配置ZK补充文章导读 在搭建Hadoop高可用集群之前,需要提前安装并启动Zookeeper集群,因为hadoop集群需要Zookeeper提供的分布式锁服务选主NameNode,因此需要提前准备好Zookeeper集群环境下载ZK 下载Zookeeper二进制包可以去Zookeeper官网,也可以去国内的镜像网站,但国内的镜像网站只能下载到最近的稳定版本,而历史版本是没有的,比如我这里使用的Zookeeper-...
2022-05-29 00:32:44
155
原创 基础篇三 CentOS修改主机信息并克隆主机实现相互通信
文章导读Linux环境的默认配置进行修改,让虚拟机更好的clone机器信息,减少重复配置的工作量关闭防火墙关闭普通防火墙使用以下命令查看防火墙状态[root@192 ~]# systemctl status firewalld.serviceactive表示防火墙正处于激活状态,所以使用如下命令关闭防火墙# 关闭防火墙[root@192 ~]# systemctl stop firewalld.service# 禁用防火墙(永久关闭)[root@...
2022-05-28 17:46:59
452
原创 基础篇二 CentOS 7.9下安装配置Java环境
目录文章导读下载Java卸载Java解压Java配置环境变量文章导读 CentOS自带了一个Java,通常情况下是够用的,但是对于大数据环境搭建过程中,我们需要对每一个工具做到掌控,因此建议大家在搭建的过程中卸载重装一个自己的Java环境,这样搭建的过程中有任何问题都可以准确方便的定位.下载Java Java自从被Oracle收购以后,下载就越来越不方便了需要登录Oracle的官网账号,JDK8下载链接,选择自己需要的版本下载即可....
2022-05-28 14:13:29
1727
原创 基础篇一 CentOS 7.9服务器环境准备
文章导读 为适应模拟生产环境,在搭建大数据集群之前,先准备Linux环境,方便后续Hadoop环境的搭建及安装.Linux下载官网首页 本次搭建使用的是最新的CentOS 7.9.2009的版本,用户可以根据自己的需要和方便选择,这里我给了CentOS官网门户最新版本点击x86_64进入后可以看到各种镜像源地址,推荐使用各大高校的镜像源,下载速度较快,也可以选择历史版本,这里不在赘述,有需要的可以自行查找资料.安装配置...
2022-05-28 11:51:38
503
原创 skimage.color中的rgb2gray是如何实现彩色图片灰度化
最近在分析彩色图片灰度化的过程中使用到了一个函数skimage.color中的rgb2gray(),但是与自己所实现的灰度化公式在计算结果上出入较大,因此特意写这篇文章记录一下对比过程.首先,看一下RGB转Gray的计算公式 : Gray = R*0.299 + G*0.587 + B*0.114用Python代码手动实现:# 手动实现import numpy as npimport matplotlib.pyplot as pltimport cv2# 读取图片img = cv2
2020-08-12 01:21:32
6632
1
转载 Windows环境下安装Scala及环境配置
Scala环境搭建---转载Scala 概述+scala安装教程+IDEA创建scala工程Intelli JDEA 创建Scala项目的三种不同方式
2020-05-10 00:14:48
508
原创 Storm UI显示的Supervisor个数与实际启动的个数不符
我的问题能够解决来源于这两篇帖子 storm ui显示supervisor个数与实际不符的解决 storm ui显示supervisor个数与实际不符的解决按理说我的集群UI界面应该显示10个slot两个Supervisor的,但是现在的数量只有实际开启数量的一半儿,明显是有问题的,查询了相关的资料后,发现自己的问题确实如上所说:Try clearing the contents o...
2020-04-24 22:41:11
359
转载 CentOS7.*安装MySQL5.7问题纪要
MySQL安装检查是否已经安装mysql（两种方式）[root@master ~]# rpm -qa | grep mysql[root@master ~]# yum list installed | grep mysqlcentos 7 下需要删除mariadb(mariadb是mysql之父创造的mysql分支的开源版本)检查：[root@master ~]# rp...
2019-12-18 23:36:58
109
原创 PyCharm导入可运行的自定义模块出现报错提示问题
Pycharm在导入自定义的模块时有红色报错提示,但运行时是正常的,提示错误信息:No module named test1 less... (Ctrl+F1)Inspection info: This inspection detects names that should resolve but don't. Due to dynamic dispatch and duck typin...
2019-11-29 01:45:30
1899
原创 适合小白的深度神经网络DNN思想及详细推导
导读：网上关于深度神经网络的博文和技术博客数不胜数，但是能够让初学者直接看懂的却是不多，倒不是说别人写的不好而是因为这些大佬大多是站在一定的高度来介绍的，不懂我们这些小白的痛苦啊，以下的内容是我在看了吴恩达老师的教程加以总结之后的文章，想要学习深度学习需要有一点数学功底，当然这不是最重要的，如果你在学习的过程中发现有些知识不懂可以现场查询一下，无需针对DNN特意去报班学习数学，我觉得这是没必要的，...
2019-08-23 17:00:52
2258
原创 Pycharm在创建新的工程时出现"Failed to Create Interpreter"
我遇到一个问题Pycharm在创建工程时,使用Anaconda自带的base(python=3.7)可以正常创建,但是用我自己的环境(envs/python37/python=3.7)的时候就出现下面的问题 : Executed command: D:\Program Files\JetBrains\Pycharm 2018.3.5\helper\packaging_tools.py list E...
2019-06-12 22:41:42
50589
6
原创 SeacureCRT突然连接不上虚拟机的Linux系统的问题
问题描述:前一天晚上使用SeacureCRT连接我的虚拟机的时候还是正常的,但是今天早上打开电脑想再次连接虚拟机的时候发现根本连不上,这个问题以前没有出现过,我也可以确定自己的电脑包括虚拟机什么都没有动,于是我上网百度了一下相关的博客,这位老哥的解决方法给我提供了一个很好的思路,如果有类似情况的小伙伴们可以参考一下,博主地址:secureCRT无法连接centos7解决但是,我的Lin...
2019-05-25 11:24:56
1001
原创 IntelliJ IDEA实现远程连接linux之IDEA链接失败问题二
之前在Linux服务器(主机)配置SSH互信这篇文章中稍微介绍过一点自己在用IDEA链接linux主机的连接失败的问题,以及给出的一点解决的过程和心得,但是最近换了一台新电脑,重装了新的系统和最新的idea的软件,本想着使用idea链接linux的主机,但是无论怎么连接都连不上,始终提示Connection to '192.168.***.**' faild,Could not connect t...
2019-05-12 21:42:19
7426
4
转载 HMM与Viterbi算法之间的关系以及Viterbi算法如何能够解决分词问题
最近在学习Viterbi算法的过程中遇到一个很棘手的问题,总是搞不清Viterbi算法在实际应用中到底起到了一个什么作用,这让我心烦不已,好在这位老哥的这篇实例文章给了我极大的帮助,在此感谢一下,也帮转一下,希望能够帮助更多的朋友.(原)https://blog.csdn.net/jiangzhenkang/article/details/84555947我认真阅读了这篇文章,发现这位老哥...
2019-04-02 23:41:07
255
原创 如何在Python中引用zookeeper的py库
(转)https://blog.csdn.net/ubuntu64fan/article/details/51076950这位老哥在博客中清楚的描述了应该如何操作,但是我需要在他的基础之上简化一下安装,当你安装完c语言的执行命令的时候就可以结束后续的步骤了,后面可以按照我的方法继续配置到了上面这一步就可以了,下面开始通过之前安装的Anaconda来帮你做后续的工作为了便于操作,和简...
2019-03-09 00:18:45
686
3
转载 JAVAC 运行报错‘javac’不是内部或外部命令，也不是可运行的程序或批处理文件
在配置的环境变量中没有任何错误的情况下报错的问题：JAVAC 运行报错‘javac’不是内部或外部命令，也不是可运行的程序或批处理文件，问题得到解决转载https://blog.csdn.net/u014415821/article/details/78264826 博主的文章希望能够帮助到大家【一】问题：win10系统下，安装好JDK后，报错如下：‘javac’不是内部或外部命令，也不是...
2019-03-02 02:51:50
2070
转载 遇到的MAVEN各种问题以及解决方案
此贴总结各种错误。总结的多了之后会加以分类。 1、解决Maven项目pom.xml文件报xxx\target\classes\META-INF\MANIFEST.MF (系统找不到指定的路径)问题：（只需简单地clean all projects）http://www.cnblogs.com/zhfei/p/5286827.html2、(1)Failed to execute go...
2019-02-12 22:54:48
8540
原创 大数据环境搭建之安装Hive以及组件Mariadb(MySQL)
我们在搭建大数据学习环境的时候需要搭建组件Hive以及MySQL(MariaDB)的数据库,Hive的本质就是一个MR的计算框架,它是将SQL语句的代码转化为MR的方式去执行的.我们的元数据是存放在MySQL(MariaDB)中的.而实际的数据是存放在HDFS上的,实现了数据的解耦.首先,安装MariaDB,我们是用yum的方式可以直接安装MariaDB的数据库,CentOS7.x对MySQL...
2019-02-06 00:56:02
1512
1
翻译 大数据时代--windows下spark的安装与配置教程(转)
作为一个大数据的小白(Hadoop / Spark / .....)花了两天时间在自己的Win10电脑上安装本地的Spark环境,但是报了很多错,如下图这样的错误??(借用一下网友的错误,我的错误在修改过程中懒得还原了,总之你们遇到的错误和没遇到的错误我都遇到了,笑/cry)D:\hadoop-2.6.0\bin>spark-shelllog4j:WARN No appe...
2019-01-22 23:29:12
711
原创 Linux服务器(主机)配置SSH互信---Warning: Permanently added 'slave2,***' (ECDSA) to the list of known hosts警告
聊聊自己遇到的神坑,实在是哭笑不得,现将其理成笔记发布在博客上以供需要的小伙伴们参考The authenticity of host 'slave2 (192.168.***)' can't be established.ECDSA key fingerprint is SHA256:Jax0HcY18c6EUe9S7BhwvmY02S86nqg5/j8fcV39WxE.ECDSA k...
2019-01-20 19:12:53
57033
2
原创 如何解决Yarn管理页面的ApplicationHistory / History无法跳转到指定页面的问题
在介绍问题之前我先将自己搭建的大数据机器环境介绍一下:这里我是用VM-version12虚拟出了三台集群机器,分别是master --> ip:192.168.153.10, slave1 --> ip:192.168.153.11, slave2 --> 190.168.153.12；在这三台机器上我分别搭建了Hadoop2.x的环境jdk1.8.0_172 等工具。之前我...
2019-01-10 16:18:23
5717
3
原创 关于java.lang.NullPointerException at java.util.Properties$LineReader.readLine(Properties.java:434)问题
2018年11月05号 这是本人的第一篇博客 记录关于自己学习过程中的一些问题 希望给自己提个醒也希望能够帮助正在学习开发的同志们一些帮助 初学不深 大神勿笑!!!我在平时的学习中遇到一个问题,Java代码在测试单元import org.junit.Test;下运行报如下错误:java.lang.NullPointerException at java.util.Propertie...
2018-11-05 00:21:41
17666
18
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人