- 博客(29)
- 收藏
- 关注
RSS订阅原创 最最无语的异常：java.lang.NoClassDefFoundError: org/apache/kafka/common/errors/InvalidConfigurationException
今天在使用sparkStreaming 连接kafka时，出现了一个令人很无语的报错：如下：2020-08-19 18:59:02,524 ERROR [org.apache.spark.executor.Executor] - Exception in task 0.0 in stage 0.0 (TID 0)java.lang.NoClassDefFoundError: org/apache/kafka/common/errors/InvalidConfigurationException at
2020-08-19 19:18:28
3037
1
原创 flume拦截器实现多channel传输
文章目录一、拦截器简介二、idea构建拦截器三、flume conf文件编写四、执行命令并查看结果一、拦截器简介拦截器主要用来实现日志的分类，修改或者删除不需要的日志信息，拦截器分为内置拦截器和自定义拦截器。下面我们主要介绍使用自定义拦截器来将信息分类传输。二、idea构建拦截器首先构建一个maven工程，在pom依赖包中添加如下依赖： <dependency> <groupId>org.apache.flume</groupId>
2020-08-17 20:15:41
432
原创 RDD常用转换算子和动作算子
文章目录一 、转换算子1.map2. filter3.mapValues4. distinct、union、intersection5. reduceByKey、sortByKey、groupByKey6. flatMap一 、转换算子1.map对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD任何原RDD中的元素在新的RDD中都有且只有一个元素与之对应输入分区和输出分区一一对应//创建一个spark context对象val conf:SparkConf = new Spark
2020-08-06 15:26:41
2219
原创 shell脚本一键配置hadoop
文章目录一、环境配置** 脚本使用条件及脚本功能二、配置hadoop配置文件**脚本实现功能三、总结一、环境配置直接上脚本代码#!/bin/bash# 修改主机名和主机列echo "-------------开始修改主机名和主机列表--------------"a=`ifconfig ens33|awk -F " " 'NR==2{print $2}'`hostnamectl set-hostname znnb=`hostname`echo -e "$a \c" >> /etc
2020-07-25 15:21:51
990
1
原创 Region的拆分与合并
文章目录一、拆分与合并的目的拆分合并二、Region拆分1.自动拆分2.手动拆分(1).Linux命令行创建(2).在HBase命令行里创建(3).指定拆分文件(4).强制拆分三、Region合并1.Minor Compaction2.Major Compaction3.三种触发合并检查的情况4.合并操作一、拆分与合并的目的拆分当一个Region大到一定程度，或导致读取效率太低，所以会进行分裂HBase可以通过Region Split达到负载均衡Region的拆分分为自动拆分与手动拆分合并
2020-07-23 23:20:28
2139
原创 Phoenix操作HBase及二者的主要区别
文章目录一、jar包引入二、Phoenix启动并操作HBase1. 查看所有表2.建表3.插值4.查看表数据三、Phoenix和HBase的主要区别一、jar包引入将下面的jar包拷贝到Hbase的lib目录apache-phoenix-4.14.0-cdh5.14.2-bin.tar安装包路径：https://pan.baidu.com/s/10gV6dXEZFxXasZCvelQ-sQ提取码：ew0w下载完成后解压，然后进入到phoenix的bin目录找到需要拷贝的jar文件我们需要拷贝
2020-07-23 17:19:15
738
原创 实例分析HBase与Hive的集成
文章目录一、HBase与Hive的对比1.Hive(1). 数据仓库(2).用于数据分析、清洗(3).基于HDFS、MapReduce2.HBase(1).数据库(2).用于存储结构化和非结构化的数据(3).基于HDFS(4).延迟较低，接入在线业务使用二、HBase与Hive集成使用1.实例分析一、HBase与Hive的对比1.Hive(1). 数据仓库 Hive的本质其实相当于将HDFS中已经存储的文件在Mysql中做一个双射关系，以便使用HQL查询管理。(2).用于数据分析、清洗 Hi
2020-07-23 16:18:19
174
原创 HBase架构、数据存储结构及工作原理分析
文章目录一、HBase介绍二、HBase架构1.主架构(1).Client(2).Zookeeper(3).HMaster()4.HRegionServer(5).HDFS2.其他组成部分(1).Write-Ahead Logs(2).HRegion(3).Store(4).MemStore(5).HFile三、HBase数据存储结构1.RowKey一、HBase介绍定义：HBase是一个面向列存储的数据库，它是一个分布式的hash map，并能够利用HDFS的可靠性来做存储功能。特点数据访问速
2020-07-22 23:16:34
947
原创 HBase常用命令及相关权限命令
文章目录一、基本命令二、操作命令一、基本命令查看版本号——version查看状态——status查看当前用户——whoami使用帮助——help二、操作命令创建表——create ‘user’,‘baseinfo’,‘privateinfo’——user是表名，baseinfo和privateinfo是两个列簇(列族)查看所有表——list查看表的具体信息——desc ‘user’判断表是否存在——exists ‘user’向表中插入数据put ‘user’,‘001’,‘ba
2020-07-21 00:19:03
809
原创 建、判、插、读、删五步走——Java API 操作HBase
文章目录一、准备工作二、程序编写1.建表2.判断表是否存在3.向表中插入数据4.查看数据5.删除表三、总结一、准备工作HBase 除了可以使用HBase shell来操作外，还可以使用Java API的方式来管理名字空间。使用IDEA 创建一个Maven工程添加依赖包，pom文件如下<dependency> <groupId>junit</groupId> <artifactId>junit</artifactId&
2020-07-20 19:20:38
102
原创 Hive基本概念
文章目录一、什么是hive?二、Hive的优缺点三、Hive架构四、Hive和数据库比较一、什么是hive?Hive是由Facebook开源，用来解决海量结构化日志数据统计Hive是基于数据仓库的解决方案，将一个结构化的数据映射成一张表，并且提供类SQL的查询语言本质：将HQL转化为MapReduce程序：（1）Hive处理的数据存储在HDFS上 （2）Hive分析引擎默认为MapReduce （3）执行程序运行在Yarn上二、Hive的优缺点优点：操作接口采用了类SQL语法，减少了学习
2020-07-19 22:51:51
105
原创 zepplin环境搭建——好用到手软
文章目录一、下载安装包并解压二、修改zepplin配置文件1、一、下载安装包并解压安装包路径：https://pan.baidu.com/s/1d5g2aAFmUJLqUTV10e4BWA提取码：4ich下载完成后，将安装包拖到自己Mobarxterm中soft目录(我这里使用的是Mobarxterm，soft目录是自己的hadoop、hive的安装目录)；上传完成后，将安装包解压；解压完成后，修改zepplin的目录名以便使用：[root@znn ~]# cd /opt/soft/[roo
2020-07-14 12:21:16
474
原创 Hive常用函数及实例演示
文章目录一、数学函数二、转化函数三、日期函数四、条件函数五、字符串函数一、数学函数1.round(double a,int b) 返回a保留b位小数位的值，根据四舍五入原则select round(4.356),round(4.356,2),round(4.354,2)+------+-------+-------+--+| _c0 | _c1 | _c2 |+------+-------+-------+--+| 4.0 | 4.36 | 4.35 |+------+--
2020-07-14 01:41:29
220
原创 浅析Mapreduce工作原理
MapReduce各阶段工作原理图：下面讲解MapReduce的工作过程及原理：1.split阶段对于传入进来的大文件，采用TextInputFormat文件输入方式，然后对其进行物理分片，按照128M一个分片来分成若干map tasks。如果传入的是一个一个小文件，可以采用CombinerInputFormat方式传入文件，将其聚合成一个大文件。2.一行一行读使用的是TextInputFormat类中的getRecordReader方法来获取行信息，源码如下：public RecordRea
2020-07-05 13:53:50
291
原创 启动hadoop时异常：connect to host hadoop002 port 22: Connection refused
问题描述今天在搭建hadoop伪分布式集群时，启动hadoop，报如下异常情况，hadoop002（也就我设置的Secondary namenode）拒绝连接，启动Secondary namenode失败。[root@hadoop1 ~]# start-all.shThis script is Deprecated. Instead use start-dfs.sh and start-yarn.sh20/07/03 01:09:10 WARN util.NativeCodeLoader: Unab
2020-07-03 01:39:09
3220
原创 运用MapReduce实现wordCount
一、idea环境配置要使用MapReduce来进行单词计数，需要导入需要的jar包，所以我们这里使用Maven来建工程，可以通过配置文件参数来自动引入所需要的jar包，下面是配置文件poem.xml的参数：<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instanc
2020-07-02 19:52:53
1998
原创 使用shell脚本一键式解压压缩文件
话不多说，先上代码：#!/bin/bashcd /opt/software ----文件的目录位置count=`ls -l | grep '^-' | wc -l` ----保存当前目录下的文件个数，这里使用管道符来进行计算if [ $count -ne 0 ]; ----文件个数不等于0开始进入条件then for file in `ls` ----遍历所有文件 do fileName=$file ----将文件名进行保存，这里是方便后面截取文件
2020-06-30 01:13:54
4282
原创 最最最详细的Hadoop+HBase+Zookeeper+Hive完全分布式环境搭建教程
文章目录一、准备工作二、hadoop搭建1.配置主机名和主机列表2.配置免密登录3.配置环境变量4.配置hadoop配置文件三、HBase配置1.配置hbase-site.xml文件2.配置hbase-env.sh文件3.配置log4j.properties文件4.配置regionservers四、集群搭建1.修改hdfs-site.xml文件2.修改slaves文件3.复制到另外两台机器上五、Zookeeper搭建1.配置zoo.cfg文件2.创建myid文件并启动zookeeper3.启动hbase4.
2020-06-29 02:27:10
3039
原创 启动hadoop无DataNode进程服务的简单粗暴解决办法
问题：我们经常会在第二次启动hadoop时出现DataNode服务没有成功启动简单粗暴的解决方案：1.首先将所有服务全关掉：stop-all.sh2.找到一开始建的tmp临时目录，直接rm -rf掉3.在hadoop-2.6.0-* 目录下找到logs文件，直接rm -rf掉4.再次执行之前的操作，格式化hdfs：hadoop namenode -format5.重新再启动所有服务，此时再jps显示所有进程时，可以出现DateNode成功启动...
2020-06-26 00:48:01
603
原创 Linux环境下配置和安装hadoop及hadoop集群搭建(VMware)
文章目录一、安装准备二、hadoop的配置1.首先配置hadoop-env.sh2.配置core-site.xml3.配置hdfs-site.xml4.配置mapred-site.xml5.配置yarn-site.xml6.配置slaves7.配置hadoop环境变量三、格式化HDFS四、启动hadoop五、集群搭建1.克隆虚拟机2.配置免密登录3.修改主机器的配置文件4.修改备用机器的配置文件5.启动hadoop一、安装准备在linux环境下安装hadoop需要准备的资料如下：这里主要需要准备的就
2020-06-26 00:35:50
589
原创 Elasticsearch实现基础的增删改查(Kibana模式)
一、简介 Elasticsearch是基于Lucene的开源分布式搜索引擎，大幅降低了PB级海量数据存储、检索，分析门槛。它的特点是：分布式实时文件存储、检索、分析零配置、集群自动发现索引自动分片、副本机制RESTful风格接口多数据源自动搜素负载二、分词 Elasticsearch实现分词默认的有三种分词器：(1).standard：将text文本拆成一个一个汉字或单词GET _analyze{ "analyzer": "standard" , "text": "中
2020-06-23 20:20:25
141
原创 shell常用脚本(一)
一、注意事项1.开头的解释器使用的是:#!/bin/bash2.用四个空格进行语法缩进来提高阅读性3.变量名的命名规则：函数名小写，变量名或文件名要有意义二、图形打印1.打印矩形脚本函数为：#!/bin/bashjuxing(){ read -p "请输入要打印正方形的边长：" n for i in `seq 1 $n` do for((j=1;j<=$n;j++)) do
2020-06-22 23:18:59
212
原创 ELK集群搭建(Linux系统:centos7)
一、复制虚拟机 首先复制已经搭好的ELK虚拟机：右击已经搭好的虚拟机，选择复制，重命名复制的虚拟机名，将最都一个重新初始化所有网卡的MAC地址勾选中，这里我们将复制两个虚拟机。复制ok后，对复制的两个虚拟机进行修改。首先是地址，这里我最初的虚拟机地址:192.168.56.111，另外两个地址，我这里将设成：192.168.56.112和192.168.56.113。修改完成之后，使用MobaXterm将三个虚拟机全都连上，分别打开MobaXterm。二、修改主机名和主机列表 首先在主机地址
2020-06-20 14:13:27
384
原创 Linux系统的ELK安装及配置
一、ES简介 ES是一个基于RESTful web接口并且构建在Apache Lucene 的开源分布式搜索引擎。它的特点是：高可用，高扩展，是一种NOSQL的数据存储工具。二、ES安装前的准备(elk安装包版本要求一致) 需要下载以下5个下载包：下载包的链接地址是：链接：https://pan.baidu.com/s/1wr4Xt1Z8DBWX7xygHB0Zfg 提取码：8dw0除此之外，还需要安装一下jdk，jdk的版本不唯一，可使用自己平时用的jdk版本，我这里使用的是：jdk
2020-06-18 22:44:02
404
原创 mybatis实现简易图书管理系统
一、图书管理系统实现的功能介绍这里我们要实现普通用户和系统管理员的登录、借书还书功能、购买图书功能、展示所有图书的状态(借出、借出时间是否超期、超期后产生的滞纳金的计算等等)。我这里最初实现的是登录和查询功能。二、数据库表结构的创建首先，我们需在在数据库中建几张所需要的表，如下图所示。建好表之后，需要往表里面插入相应的值。这里我就不作具体演示，具体的建表语句和插入数据的语句如下：CREATE TABLE IF NOT EXISTS tb_book( book_id INT(11) PRIMAR
2020-06-18 00:11:09
3129
2
原创 Linux采用SSH协议远程连接及系统软件安装(jdk、tomcat、Mysql)
一、Linux系统远程连接 Linux系统远程连接常用的协议有SSH、FTP、XFTP，这里我们将使用SSH协议来进行远程连接；SSH是一种通用的、功能强大的、基于软件的网络安全解决方案，常用的SSH工具有Xmanager、Securecrt、Putty、MobaXterm。我这里将会使用MobaXterm来进行远程连接。 打开虚拟机，打开MobaXterm，此时我们是有一个...
2020-06-17 15:34:14
524
原创 Linux常用命令(增、删、改、查、赋权、解压)
文章目录一、目录操作二、文件内容操作三、vi编辑器(查看模式、编辑模式、尾行模式)四、用户管理五、组管理六、赋权语句七、解压命令一、目录操作1、切换目录：cd命令cd / --打开根目录cd test1 --打开文件夹test1cd ../ --返回上一级cd ~ --返回当前用户的主目录2.ls命令ls -a ---查看目录下全部的文件或目录，包括隐藏文件ls -l --将文件列表以列的方式展示出来，一行显示一个文件 等同于ll3、清屏 ctrl+l、clear4、查看当前所在目
2020-06-16 20:08:56
562
1
原创 MyBatis连接数据库实现增删改查
MyBatis简介MyBatis是一种基于SQL语法的开源项目，它能够将SQL语句封装在配置文件中，便于统一的管理和维护，能够降低代码的耦合度，且方便的代码调试。下面直接进入MyBatis的环境搭建。MyBatis环境搭建打开idea后，首先要配置jar文件，我们所需要的jar文件有如下几个，将其添加到Modules中的Dependencies中。添加完后不要忘记将Problems的提示Fix掉。添加完jar文件，再把Tomcat配置一下。配置完成后...
2020-06-09 19:47:24
794
原创 Linux环境安装Mysql
文章目录一、安装资料准备二、安装VBox一、安装资料准备首先在开始安装工作之前，需要准备好如下一些安装材料。第一个是MobaXterm，是一款增强型远程连接工具，可以直接在linux虚拟环境下，使用linux命令进行一系列操作；第二个Centos7的iso映像文件，可以直接在浏览器中下载，版本号最好是最新的版本，不能低于18的；第三个是linux的jdk文件；第四和第五个分别是Mysq...
2020-04-25 19:25:12
3186
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人