- 博客(31)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 hbase regionserver起不来，Class org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec not found
目录：版本：报错解决：版本：hbase版本：hbase-2.2.2phoenix： apache-phoenix-5.0.0-HBase-2.0-bin2022-03-01 10:56:49,903 WARN [RS_CLOSE_META-regionserver/crh9:16020-0] handler.AssignRegionHandler: Fatal error occurred while opening region hbase:meta,,1.1588230740, aborti
2022-03-01 13:22:00
2763
2
原创 微信多开~
只需修改一下安装路径，文本以**.bat**结尾，多开几个就复制几行，我这是开两个。@echo offstart /d "D:\Common\WeChat\" WeChat.exestart /d "D:\Common\WeChat\" WeChat.exeexit
2021-05-31 14:00:39
195
原创 安装Surperset时执行命令报错 MATCH THE HASHES FROM THE REQUIREMENTS FILE. If you have updated the package vers
执行命令：pip install apache-superset -i https://pypi.douban.com/simple/报错信息MATCH THE HASHES FROM THE REQUIREMENTS FILE. If you have updated the package versions, please update the hashes. Otherwise, examine the package contents carefully; someone may have ta
2021-04-16 11:08:14
220
原创 大数据复习----虚拟机创建~集群搭建~hadoop高可用
1.centos7创建1.新建虚拟机 2.最好放在非系统盘的固态盘3.设置内存大小，根据自己需求4.默认5.默认6.动态分配7.最少100G8.分组9.重命名10.11.12.安装操作系统13.选择镜像14.15.16.修改CPU17.修改鼠标18.启动19.自由缩放20.21.22.23.设置root密码24.重启2. 配置网络环境 1. cd /etc/sysconfig/network-scripts/ 2. ll -h 3. vi i
2021-03-06 16:50:46
244
原创 单例(Singleton)设计模式，单例模式（饿汉式、懒汉式）
1.设计模式的说明1.1 理解设计模式是在大量的实践中总结和理论化之后优选的代码结构、编程风格、以及解决问题的思考方式。1.2 常用设计模式 — 23种经典的设计模式 GOF创建型模式，共5种：工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式。结构型模式，共7种：适配器模式、装饰器模式、代理模式、外观模式、桥接模式、组合模式、享元模式。行为型模式，共11种：策略模式、模板方法模式、观察者模式、迭代器模式、责任链模式、命令模式、备忘录模式、状态模式、访问者模式、中介者模式、解释器模
2020-12-16 11:56:02
95
原创 右键Sublime打开文件，文件夹，注册表文件安装
新建一个注册表文件，add.reg,文件内容如下：Windows Registry Editor Version 5.00; show in context menu when right click all kinds files[HKEY_CLASSES_ROOT\*\shell\Sublime]@="Open with Sublime""Icon"="E:\\Common\\Sublime Text 3\\sublime_text.exe,0"[HKEY_CLASSES_ROOT\*\
2020-11-25 10:52:15
204
原创 Flink vs Spark Streaming 对比，区别。
流（stream）和微批（micro-batching）flink一切都是流；Spark Streaming相当于把流处理转换为批处理，spark Streaming 是伪实时处理，处理延迟一定是秒级别的，不能再低了；所以对于延迟性非常高的场景必须要用Flink。数据模型 ：– spark 采用 RDD 模型，spark streaming 的 DStream 实际上也就是一组 组小批数 据 RDD 的集合；– flink 基本数据模型是数据流，以及事件（Event）序列。运行时架..
2020-11-02 20:48:38
1875
2
原创 Flink的主要特点
1. 事件驱动（Event-driven）跟传统的事件驱动（下图左边）做对比，flink是借鉴了传统的事件处理模式。2. 基于流的世界观在 Flink 的世界观中，一切都是由流组成的，离线数据是有界的流；实时数据是一个没有界限的流：这就是所谓的有界流和无界流3. 分层API越顶层越抽象，表达含义越简明，使用越方便；越底层越具体，表达能力越丰富，使用越灵活。4. Flink 的其它特点• 支持事件时间（event-time）和处理时间（processing-time）语义• 精确一次
2020-11-02 20:40:52
1440
原创 Flink流处理的演变
第一代流式处理架构统计计算是乱序的，不能保证处理的结果是正确的，所以就有第二代架构。lambda 架构（第二代流式处理架构）用两套系统，同时保证低延迟和结果准确上下两层，Batch Layer 批处理层（结果更准确）Speed Layer 流处理层（实时性）Serving Layer 服务层，汇总批处理层和快速处理层的结果，最后把数据进行合并，得到结果！Flink（第三代流式处理架构）...
2020-11-02 20:15:30
181
原创 IDEA运行java项目报错 Error:java: Compilation failed: internal java compiler error
解决：File–>Setting… --> Build,Execution,Deployment --> Compiler --> Java Compiler 设置相应Module的 Target bytecode version的合适版本（跟你jkd版本一致），这里我改成8版本的。运行成功！！！
2020-10-29 15:34:51
186
原创 Could not create FileSystem for highly available storage path (hdfs://node7-1/flink/ha/flinkCluster)
flink 集群 Standalone 模式 高可用部署无法启动已解决hadoop , zookeeper,工作正常，flink-standalone 启动正常。在搭建HA集群时，集群启动未报错，查看jps时发现没有进程，查看日志出现如下内容：具体报错信息Shutting StandaloneSessionClusterEntrypoint down with application status FAILED. Diagnostics java.io.IOException: Could not c
2020-10-29 14:50:15
3054
原创 hive创建永久函数失败，Failed to register youmeng.finderrorcount using class com.jinghang.hive.MyCoustom
hive报错信息：创建永久函数报错Failed to register youmeng.finderrorcount using class com.jinghang.hive.MyCoustomFAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.FunctionTask解决：jar包打错了，我用的idea打jar，没打好！重新打jar包！！！IDEA：maven-web项目打jar包第一步：点
2020-10-26 08:37:45
2615
原创 Failed to register youmeng.finderrorcount using class com.jinghang.hive.MyCoustom 创建永久函数报错
Failed to register youmeng.finderrorcount using class com.jinghang.hive.MyCoustomFAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.FunctionTask
2020-10-25 22:01:35
640
原创 MetaException(message:Error creating transactional connection factory)
hive启动报错信息:MetaException(message:Error creating transactional connection factory)Caused by: MetaException(message:Error creating transactional connection factory)Caused by: javax.jdo.JDOFatalInternalException: Error creating transactional connection fac
2020-10-25 11:50:46
4136
原创 分布式一致性服务zookeeper
先一句话概括下zookeeper：zookeeper可谓是目前使用最广泛的分布式组件了。其功能和职责单一，但却非常重要。一、zookeeper到底是什么？（技术文）1）zookeeper实际上是yahoo开发的，用于分布式中一致性处理的框架。2）背景介绍：最初其作为研发Hadoop时的副产品。由于分布式系统中一致性处理较为困难，其他的分布式系统没有必要 费劲重复造轮子，故随后的分布式系统中大量应用了zookeeper。故随后的大部分分布式系统中大量应用了zookeeper，以至于zookeeper成为
2020-10-24 14:16:37
234
原创 Dubbo-远程服务调用框架
一、Dubbo是什么？1）本质：一个Jar包,一个分布式框架,，一个远程服务调用的分布式框架。 既然是新手教学，肯定很多同学不明白什么是分布式和远程服务调用，为什么要分布式，为什么要远程调用。 我简单画个对比图说明（图1看到图2。画板画的，不喜勿喷，谢谢）。你想一下，以前什么的都在一个服务器上，调用方法直接就自然而然调用了，没啥问题。现在因为需求增多拆分了这么多个，部署在不同的服务器上，那是不是相对以前都在一个服务器上，现在分布式后，web层调用service层的服务变成了远程调用？那怎样
2020-10-24 11:27:20
229
原创 centos7集群配置免密钥四台互通
centos7集群配置免密钥1.生成密钥 $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys $ chmod 0600 ~/.ssh/authorized_keys集群配置免密 hadoop官网，点击可进入官网查看！！2. 下载插件，把Linux文件下载到Windows yum -y install lrzsz sz 文件名 下载文件
2020-10-24 09:35:38
1310
2
原创 centos7搭建集群（四台）（review）
centos7搭建集群（四台）1.创建好一台新的虚拟机，且配置好网络，静态IP之后，进行复制四台虚拟机，我的是之前发布的博客有教程哦 打开四台虚拟机修改静态IP； vim /etc/sysconfig/network-scripts/ifcfg-enp0s8 修改四台虚拟机的IP； 192.168.56.111 192.168.56.112 192.168.56.113 192.168.56.114 编辑hosts文件，配置主机映射； vim /etc/host
2020-10-24 09:08:28
1107
2
原创 centos7网络配置（review）
配置centos7网络环境 1. cd /etc/sysconfig/network-scripts/ 2. ll -h 3. vi ifcfg-enp0s3 4. ONBOOT=no 改为 yes 5. reboot 重启 6. 查看ip 需要安装一个工作:(必须可以连接上外网) yum -y install net-tools 7. ifconfig 8. 网络检查: 虚拟机是否可上公网;(www.baidu.com)(默认是可以的) ping www.baidu.co
2020-10-24 08:45:09
121
原创 centos7虚拟机创建（review）
centos7创建1.新建虚拟机 2.最好放在非系统盘的固态盘3.设置内存大小，根据自己需求4.默认5.默认6.动态分配7.最少100G8.分组9.重命名10.11.12.安装操作系统13.选择镜像14.15.16.修改CPU17.修改鼠标18.启动19.自由缩放20.21.22.23.设置root密码24.重启...
2020-10-24 08:40:15
108
原创 Error:(3, 20) java: 找不到符号 符号: 类 AppErrorBatchInfoCount 位置: 程序包 com.jinghang3
Error:(3, 20) java: 找不到符号 符号: 类 AppErrorBatchInfoCount 位置: 程序包 com.jinghang解决：clean一下Maven项目就OK了，重新运行
2020-10-23 11:36:52
798
原创 hive启动失败，Hive Schema version 3.1.0版本问题
MetaException(message:Hive Schema version 3.1.0 does not match metastore’s schema version 1.2.0 letastore is not upgraded or corrupt)Caused bty: Met Exception(message:Hive Schema version 3.1.8 does not match metastore 's schema version 1.2.0 letastore is
2020-10-23 10:27:21
3475
10
原创 Scala简要总结二
1. 块语句的特点 ？块语句，最后一个值或表达式作为块语句的返回值。2. 函数的几种写法 ？无参 无返回值无参 有返回值有参 无返回值有参 有返回值多参 无返回值3. 函数的参数可变参数 参数的个数不一定默认参数 创建函数的时候参数指定默认值, 当调用的时候可以传值,不传值使用的是默认值带名参数 传递参数的时候可以不按照参数的顺序, 但是需要带参数的名称4. 函数至简原则能省就省1：return可以省略,scala会使用函数体最后一行代码作为返回值2：返回值如
2020-10-13 18:12:55
125
原创 Scala简要总结一
1. 什么scala?Scala是一门以Java虚拟机(JVM)为运行环境并将面向对象和函数式编程的最佳特性结合在一起的静态类型的编译语言2. scala特点？1.Scala是一门多范式的编程语言,scala支持面向对象和函数式编程；2.scala语言非常的简洁高效；3.scala源代码会被编译成java字节码,然后运行在JVM上,并可以调用现有的JAVA类库,实现两种语言的无缝连接；4.scala思想是将函数式编程语言的特点融合到JAVA上。3. scala的注意事项？1.scala
2020-10-13 18:06:50
182
原创 右键sublime打开文件和文件夹
重装系统之后，sublime还能用，但是右键没有打开文件的选项，右键选项是在注册表中，位于C盘，所以重装系统之后会没有右键选项。解决如下:1.右键打开文件win + R，输入regedit，打开注册表找到 \HKEY_CLASSES_ROOT*\shell，右击新建项，命名为 Open with Sublime（这里的名字决定右键文件上的显示内容），如下图：在新建的项Open with Sublime下，新建字符串值，命名为Icon，数值为 “E:\Common\Sublime Text
2020-10-12 10:03:52
656
原创 win10设置全局护眼绿模式
First:进入注册表cmd 输入regeditSecond:HKEY_CURRENT_USER\Control Panel\Colors 复制这个路径;定位到 Window ,修改数值202 234 206Third:HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Themes\DefaultColors\Standard 复制这个地址, 敲回车定位到 Window , 修改值为 caeaceLast:关闭
2020-09-23 20:09:24
1186
原创 配置java环境变量
1:创建一个系统变量"JAVA_HOME"D:\Java\Development\java\jdk1.8.0_2512.创建一个系统变量"CLASSPATH".;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar3.在Path中加入%JAVA_HOME%\bin%JAVA_HOME%\jre\bin
2020-09-22 15:57:11
80
原创 Hadoop之MapReduce
1.MapReduce定义:MapReduce是一个分布式运算程序的编程框架,是用户开发"基于hadoop的数据分析应用"的核心框架.MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组建整合成一个完整的分布式运算程序,并发运行在一个hadoop集群上.2.MapReduce优缺点:优点:1.MapReduce易于编程:它简单的实现一些接口,就可以完成分布式程序,这个分布式程序可以分布到大量的廉价的pc机器上运行.2.良好的扩展性:当你的计算机资源不能得到满足的时候,你可以通过简
2020-07-26 21:08:02
300
原创 Hadoop之HDFS
HDFS:1.HDFS文件系统:HDFS是大数据开源框架hadoop的组件之一，全称（Hadoop Distributed File System），它是一个分布式文件系统，由多台服务器联合起来实现文件存储功能,通过目录树来定位文件，集群中的服务器都有有各自的角色.2.HDFS优缺点:优点:1.数据通过副本存储，提高容错性2.能够处理PB级及以上数据，可处理百万级文件数量3.节约成本，可分布在“廉价”机器上缺点:1.不适合低延时数据访问2.不适合对大量文件的存储和访问3.单线程操作文件
2020-07-26 17:30:43
932
原创 Shell总结
Shell学习心得学习完shell之后，发现还挺有意思的，但是还需要多加练习才行，比如那shell脚本，要多练，多记，多背，脚本执行起来挺有意思，但是背后还需要自己去把脚本内容一点点的写好才行，所以shell要多练习编写脚本，熟练shell的命令。Shell介绍Shell是一个命令行解释器，它接收应用程序、用户命令，然后调用操作系统内核；Shell还是一个功能相当强大的编程语言，易编写，易调...
2020-02-16 21:26:55
414
原创 Linux总结
Linux学习心得Linux是开源的,开源就是免费,不用花钱去买;简单易学,但是要多多练习,熟练掌握基础命令,学习中遇到的问题,去问问那些高手,或者去问老师,然后把掌握不牢固的记下来,勤加练习;掌握不熟练没关系,多练习敲几遍命令,一切都OK了。Linux的发展史1965 年之前的时候，电脑并不像现在一样普遍，它可不是一般人能碰的起的，除非是军事或者学院的研究机构，而且当时大型主机至多能提供3...
2020-02-16 20:01:27
341
Sublime.reg
2020-11-25
scala2.11.8
2020-10-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人