自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(25)
  • 收藏
  • 关注

原创 jar工程上k8s实战

jar工程上k8s实战一、通过DockerFile文件制作镜像1、创建DockerFile文件FROM openjdk:8-jdk-alpineVOLUME /tmpADD ./data-query.jar data-query.jarENTRYPOINT ["nohup","java","-jar","data-query.jar","&"]2、制作镜像docker build -t data-query:1.0.0 -f ./DockerFile .说明:需在jar包当前

2021-03-03 17:12:10 249 1

原创 impala、hive之parquet表性能测试

impala、hive之SQL性能测试前提条件说明:impala已打通hive元数据,测试表格式为parquet建表性能测试一、impala建表SQLcreate table temp.ad_impala stored as parquet as select ymd,username,udid,result,requesttime,positions,logid,productname,systemname from ods.bdl_bigdata_online_ad where ymd&g

2021-03-03 14:01:08 340

原创 Docker快速入门案例之Mysql、Redis

docker是一个虚拟化容器,相对比普通的虚拟机系统,docker有着天然的优势----少了很多外部设备,例如打印机、浏览器等,这就使得docker能在秒级别的时间内,构建程序所需要的环境。在虚拟机上下载docker,虚拟机的内核以及版本不能太低。下载命令如下:yum install https://get.docker.com/rpm/1.7.1/centos-6/RPMS/x86_64/docker-engine-1.7.1-1.el6.x86_64.rpm查看当前下载的镜像docker .

2020-06-17 14:12:14 194

转载 FlinkJob提交流程

每个FlinkJob提交的时候,都有特定的流程。通用提交流程(ResourceManager未指定)步骤如下:1.application提交时,被dispatcher分发器将job提交给JobManager2.JobManager向资源管理器ResourceManager申请资源(插槽slot,每个slot为一个线程)3.ResourceManager注册空闲的slot4.由JobManager将slot分配给TaskManager5.job开始执行运行在yarn上的提交流程Fli.

2020-06-09 11:20:47 1619

原创 解决java.lang.NoClassDefFoundError: org/springframework/boot/bind/RelaxedPropertyRes报错问题

出现这个问题的原因是SpringCloud中的版本与SpringBoot的版本不兼容的问题下面是Cloud版本与boot版本对应关系表修改项目中的cloud版本或boot版本即可解决问题。

2020-06-05 15:42:08 2811

原创 jedis连接池JedisSentinelPool企业级应用(示例以及踩过的坑)

在使用客户端jedis去操作redis的时候,通常来说,企业一般会标配集群+哨兵模式。使用jidis连接池的重要性不亚于mysql的Druid,良好的连接池性能,对redis读写性能是非常友好的。话不多说,直接上代码(固定架构)public class Test { public static void main(String args[]) { //连接池配置 JedisPoolConfig jedisPoolConfig = new JedisPoolCo.

2020-06-05 10:53:11 2595 1

原创 Redis集群+哨兵模式部署(简单易懂)

首先,在redis当中,有主服务器和从服务器之分,一般来说,主服务器负责数据的写入,从服务器进行数据读取,读取分离。而哨兵有着监控redis集群的功能,如果住服务器挂了,哨兵会以某种方式选举master。首先,附上集群架构图:事先准备三台服务器(不是一台虚拟机中的三个port)在这里,我部署的主服务器是10.201.7.175:6380、从服务器是10.201.7.171:6379、10.201.7.176:6381,其中哨兵部署为10.201.7.175、10.201.7.171、10.201..

2020-06-04 19:27:10 1031

原创 MacOS下,如何搭建大数据Hadoop集群环境,看这一篇足矣!

首先声明,以下的所有配置都是基于VMWare Fusion搭建,倘如没下载此软件,请自行下载。第一步 环境准备在启动第一台虚拟机的时候,这个时候,你的虚拟机是无法ping通外网的,因为没和mac网关相关联。首先,查看你的mac网关ip和子网掩码。使用command+空格输入ter显示出终端操作界面,输入如下指令即可(这时,请不要关闭终端,因为后续需要用到这两个ip):cat /Library/Preferences/VMware\ Fusion/vmnet8/nat.conf这时,目标在如图位.

2020-05-23 18:40:57 2009 1

原创 Springcloud+Spring Alibaba学习笔记

概述:最近学完了尚硅谷阳哥的Springcloud第二季,特此记下笔记。首先,上一张springcloud迭代图。我

2020-05-13 09:37:51 1763

原创 Scala运行原理机制图

说明:韩顺平粉丝。

2019-04-08 23:57:06 946 1

原创 大数据传输框架Sqoop学习总结

Sqoop介绍:一种用于在大数据传输数据的工具。主要作用在mysql与大数据集群(hdfs,hive,hbase)之间的数据传输。Sqoop原理:将导入导出命令转化成MR程序来实现。Import:是指Mysql数据导入大数据集群Export:是指将大数据集群数据导出到mysqlSqoop导入到HDFS主要方式:全部导入–query 查询导入–where 条件导入–colu...

2019-04-06 16:59:29 306

原创 Hbase学习总结

Hbase:基于Hadoop和Zookeeper的一个非关系型结构化数据的存储框架。Hbase特点:可扩展:增加服务器数据即可(增加RegionServer)存储数据的稀疏性:列值可有可无海量:可存大量数据高可靠:基于Hadoop(有副本机制)Hbase主要组成:Hmaster和RegionSeverHmaster作用:为RS分配Region,维护整个集群的负载均衡监控Regi...

2019-04-06 13:25:42 179

原创 Kafka学习总结二

producer生产数据:producer采用推(push)模式将消息发布到broker,每条消息都被追到(append)到分区(partition)中,属于顺序写磁盘(顺序写磁盘效率比随机写内存要高,保障kafka吞吐率)Broker和Zookeeper存储数据:broker一般数据存在logs下面,Zookeeper用命令(ls /)逐级查看Consumer消费数据:每一个消费者可...

2019-04-02 21:47:37 135

原创 Kafka学习总结一

Kafka具有消息队列topic : 每一个消息可以设置分区和副本数每一个节点是一个broker,且唯一。生产者发送消息,两种方式:1.点对点模式;每一个生产者生产的消息只针对一个消费者进行传送,弊端是只能同步传输即一个节点挂了之后无法进行消息传输。2:发布/订阅模式:即针对一个producer生产的消息,可发布给多个消费者。Topic分区原因:防止多个消费者消费此消息,造成资源紧张,从而...

2019-03-31 23:17:05 117

原创 Flume学习总结和须知点

Flume定义:Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集,聚合和传输系统。基于流失框架,灵活简单。Flume Agent内部原理:FlumeAgent由三大部分组成。Source(采集),Channel(传输),Sink(输出)。首先Source采集由一些日志信息put到Channel,形成是一个event,然后sink端就take拿数据,最后输出到...

2019-03-30 16:29:44 210

原创 数据分析框架Hive学习总结!

一hive本质将Hql数据转化为MR程序进行数据分析的过程。二hive与数据库的比较1.hive没有索引而数据库有索引2.hive有执行延迟(没有索引)而mysql相对执行速度较快3.查询语言不完全相同,Hql是类Sql语言。4.数据更新:hive不支持实时更新,主要是存数据然后进行分析,而数据库则支持实时数据更新5.可扩展性,hive是基于hadoop的一种分析框架,所以hive也...

2019-03-28 20:42:26 460

原创 ZooKeeper中必须掌握的几点(学习心得)

1.ZooKeeper的选举机制?在Zookeeper中以半数机制来选举Leader和Follower。默认选取myid中数值较大的为Leader,其他为Follower。2.Zookeeper监听原理首先你需要获取zkClient对象,在参数配置时new watch,创建监听器,在process方法中实现你的监听的业务逻辑.3.Zookeeper的部署方式有:本地模式和分布式模式(集群)...

2019-03-21 21:28:04 2538

原创 Yarn工作大致基本原理

Yarn在MR中有着非常大的作用,主要体现在一下几个方面:客户端接收job信息:当客户端提交job的时候,(jar包,xml文件,Split信息),之后Yarn响应job,并把它放入容器调度中(多个队列),这是默认的资源调度。然后由Yarn监控节点,把job交给空闲节点,给予他一些资源(其他的节点也要给予)。之后就是进行MR程序。当job完成后,注销任务。...

2019-03-20 18:20:07 183

原创 MapReduce开发总结!

总所周知,一般的job,是需要Map阶段和Reduce阶段共同去处理一些相应的业务逻辑。下面是一些具体的总结。Map阶段:1.输入形式:系统默认的输入是TextInputFormat。但在实际的业务需求中,需要结合其他相应的实现类处理业务逻辑。具体的是实现类有:KeyValueInputFormat:以文件个数设置切片,K为偏移量,V为行值。 NLineInputFormat:以行数决定切片个...

2019-03-18 18:35:11 182

原创 Hadoop中MR阶段MapTask和ReduceTask工作过程(详细原理)。

MapTask阶段:总共分为以下5个步骤:1.read阶段:当客户端提交job的时候,根据附加的三个信息(切片信息和jar包以及xml文件)去开启相应数量MapTask读取文件2.map阶段:系统默认的map方式是TextInputFormat,通过读取行来切割数据,以便后序数据处理。3.collect阶段:当map阶段结束后,将切割完成的数据进行分区排序输送到环形缓冲区,系统默认按照key...

2019-03-16 22:07:17 1782

原创 手绘HDFS中NameNode和DataNode以及SecondaryNameNode工作机制(原理)

2019-03-11 17:57:41 418

原创 关于Hadoop(ip)无法打开50070页面的根本原因!

在hadoop集群过程中,大家都知道,最后我们通过访问50070网页去测试群起是否成功。但是有小伙伴却时时打不开网页。原因是:首先我们来知道一下Windows访问网页的原理:当你访问网页时候,Windows会自动去寻找网址和ip的映射文件。*映射文件就在 C:\Windows\System32\drivers\etc 这个目录,小伙伴们可以去查看一下。 **如果没有Linux主机名和ip...

2019-03-08 18:00:53 4071 4

原创 Shell脚本语言必须掌握的四大命令!不会你就Low了!

1 cut 指令。顾名思义,cut有剪切的意思,所以它常用于切割某些文本或日志。例子如图:2 sed 指令。 语法格式为: sed ‘command’ filename,sed的全称为 Stream Editor即“流编辑器”(列出全称方便记忆),它可对一些数据进行增加,删除,替换操作,具体看例子。特别说明:这三种命令都在“模式空间”(执行sed命令时流编辑器会把文本存入模式空间中,...

2019-03-05 16:57:34 784

原创 Linux中比较高级的命令(高手必备)

1 – top指令(在命令行输入top即可)执行过后,可以查看linux系统的内存和Cpu占用情况。2 – netstat -anp 指令 (anp 其中a指的是all) ,可用此命令查看linux服务监听的端口号,以及查看外网的连接情况3 – ps -aux | grep XXX(进程名) 这个指令主要查看在系统中运行了哪些进程 用管道符 “|” 和grep 即可过滤所需要查看...

2019-03-04 17:21:28 2328 1

原创 关于外部应用程序如何调用硬件设备大致图解

2019-03-04 11:30:52 957

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除