qq_43151441的博客

原创 jar工程上k8s实战

jar工程上k8s实战一、通过DockerFile文件制作镜像1、创建DockerFile文件FROM openjdk:8-jdk-alpineVOLUME /tmpADD ./data-query.jar data-query.jarENTRYPOINT ["nohup","java","-jar","data-query.jar","&"]2、制作镜像docker build -t data-query:1.0.0 -f ./DockerFile .说明：需在jar包当前

原创 impala、hive之parquet表性能测试

impala、hive之SQL性能测试前提条件说明：impala已打通hive元数据，测试表格式为parquet建表性能测试一、impala建表SQLcreate table temp.ad_impala stored as parquet as select ymd,username,udid,result,requesttime,positions,logid,productname,systemname from ods.bdl_bigdata_online_ad where ymd&g

原创 Docker快速入门案例之Mysql、Redis

docker是一个虚拟化容器，相对比普通的虚拟机系统，docker有着天然的优势----少了很多外部设备，例如打印机、浏览器等，这就使得docker能在秒级别的时间内，构建程序所需要的环境。在虚拟机上下载docker，虚拟机的内核以及版本不能太低。下载命令如下：yum install https://get.docker.com/rpm/1.7.1/centos-6/RPMS/x86_64/docker-engine-1.7.1-1.el6.x86_64.rpm查看当前下载的镜像docker .

转载 FlinkJob提交流程

每个FlinkJob提交的时候，都有特定的流程。通用提交流程（ResourceManager未指定）步骤如下：1.application提交时，被dispatcher分发器将job提交给JobManager2.JobManager向资源管理器ResourceManager申请资源（插槽slot，每个slot为一个线程）3.ResourceManager注册空闲的slot4.由JobManager将slot分配给TaskManager5.job开始执行运行在yarn上的提交流程Fli.

原创 解决java.lang.NoClassDefFoundError: org/springframework/boot/bind/RelaxedPropertyRes报错问题

出现这个问题的原因是SpringCloud中的版本与SpringBoot的版本不兼容的问题下面是Cloud版本与boot版本对应关系表修改项目中的cloud版本或boot版本即可解决问题。

原创 jedis连接池JedisSentinelPool企业级应用（示例以及踩过的坑）

在使用客户端jedis去操作redis的时候，通常来说，企业一般会标配集群+哨兵模式。使用jidis连接池的重要性不亚于mysql的Druid，良好的连接池性能，对redis读写性能是非常友好的。话不多说，直接上代码（固定架构）public class Test { public static void main(String args[]) { //连接池配置 JedisPoolConfig jedisPoolConfig = new JedisPoolCo.

原创 Redis集群+哨兵模式部署（简单易懂）

首先，在redis当中，有主服务器和从服务器之分，一般来说，主服务器负责数据的写入，从服务器进行数据读取，读取分离。而哨兵有着监控redis集群的功能，如果住服务器挂了，哨兵会以某种方式选举master。首先，附上集群架构图：事先准备三台服务器（不是一台虚拟机中的三个port）在这里，我部署的主服务器是10.201.7.175：6380、从服务器是10.201.7.171:6379、10.201.7.176：6381，其中哨兵部署为10.201.7.175、10.201.7.171、10.201..

原创 MacOS下，如何搭建大数据Hadoop集群环境，看这一篇足矣！

首先声明，以下的所有配置都是基于VMWare Fusion搭建，倘如没下载此软件，请自行下载。第一步 环境准备在启动第一台虚拟机的时候，这个时候，你的虚拟机是无法ping通外网的，因为没和mac网关相关联。首先，查看你的mac网关ip和子网掩码。使用command+空格输入ter显示出终端操作界面，输入如下指令即可（这时，请不要关闭终端，因为后续需要用到这两个ip）：cat /Library/Preferences/VMware\ Fusion/vmnet8/nat.conf这时，目标在如图位.

原创 Springcloud+Spring Alibaba学习笔记

概述：最近学完了尚硅谷阳哥的Springcloud第二季，特此记下笔记。首先，上一张springcloud迭代图。我

原创 Scala运行原理机制图

说明：韩顺平粉丝。

原创 大数据传输框架Sqoop学习总结

Sqoop介绍:一种用于在大数据传输数据的工具。主要作用在mysql与大数据集群（hdfs，hive，hbase）之间的数据传输。Sqoop原理：将导入导出命令转化成MR程序来实现。Import：是指Mysql数据导入大数据集群Export：是指将大数据集群数据导出到mysqlSqoop导入到HDFS主要方式：全部导入–query 查询导入–where 条件导入–colu...

原创 Hbase学习总结

Hbase：基于Hadoop和Zookeeper的一个非关系型结构化数据的存储框架。Hbase特点：可扩展：增加服务器数据即可（增加RegionServer）存储数据的稀疏性：列值可有可无海量：可存大量数据高可靠：基于Hadoop（有副本机制）Hbase主要组成：Hmaster和RegionSeverHmaster作用：为RS分配Region，维护整个集群的负载均衡监控Regi...

原创 Kafka学习总结二

producer生产数据：producer采用推（push）模式将消息发布到broker，每条消息都被追到（append）到分区（partition）中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障kafka吞吐率）Broker和Zookeeper存储数据：broker一般数据存在logs下面，Zookeeper用命令（ls /）逐级查看Consumer消费数据：每一个消费者可...

原创 Kafka学习总结一

Kafka具有消息队列topic ： 每一个消息可以设置分区和副本数每一个节点是一个broker，且唯一。生产者发送消息，两种方式：1.点对点模式；每一个生产者生产的消息只针对一个消费者进行传送，弊端是只能同步传输即一个节点挂了之后无法进行消息传输。2：发布/订阅模式：即针对一个producer生产的消息，可发布给多个消费者。Topic分区原因：防止多个消费者消费此消息，造成资源紧张，从而...

原创 Flume学习总结和须知点

Flume定义：Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集，聚合和传输系统。基于流失框架，灵活简单。Flume Agent内部原理：FlumeAgent由三大部分组成。Source（采集），Channel（传输），Sink（输出）。首先Source采集由一些日志信息put到Channel，形成是一个event，然后sink端就take拿数据，最后输出到...

原创 数据分析框架Hive学习总结！

一hive本质将Hql数据转化为MR程序进行数据分析的过程。二hive与数据库的比较1.hive没有索引而数据库有索引2.hive有执行延迟（没有索引）而mysql相对执行速度较快3.查询语言不完全相同，Hql是类Sql语言。4.数据更新：hive不支持实时更新，主要是存数据然后进行分析，而数据库则支持实时数据更新5.可扩展性，hive是基于hadoop的一种分析框架，所以hive也...

原创 ZooKeeper中必须掌握的几点（学习心得）

1.ZooKeeper的选举机制？在Zookeeper中以半数机制来选举Leader和Follower。默认选取myid中数值较大的为Leader，其他为Follower。2.Zookeeper监听原理首先你需要获取zkClient对象，在参数配置时new watch，创建监听器，在process方法中实现你的监听的业务逻辑.3.Zookeeper的部署方式有：本地模式和分布式模式（集群）...

原创 Yarn工作大致基本原理

Yarn在MR中有着非常大的作用，主要体现在一下几个方面：客户端接收job信息：当客户端提交job的时候，（jar包，xml文件，Split信息），之后Yarn响应job，并把它放入容器调度中（多个队列），这是默认的资源调度。然后由Yarn监控节点，把job交给空闲节点，给予他一些资源（其他的节点也要给予）。之后就是进行MR程序。当job完成后，注销任务。...

原创 MapReduce开发总结！

总所周知，一般的job，是需要Map阶段和Reduce阶段共同去处理一些相应的业务逻辑。下面是一些具体的总结。Map阶段：1.输入形式：系统默认的输入是TextInputFormat。但在实际的业务需求中，需要结合其他相应的实现类处理业务逻辑。具体的是实现类有：KeyValueInputFormat：以文件个数设置切片，K为偏移量，V为行值。 NLineInputFormat：以行数决定切片个...

原创 Hadoop中MR阶段MapTask和ReduceTask工作过程（详细原理）。

MapTask阶段：总共分为以下5个步骤：1.read阶段：当客户端提交job的时候，根据附加的三个信息（切片信息和jar包以及xml文件）去开启相应数量MapTask读取文件2.map阶段：系统默认的map方式是TextInputFormat，通过读取行来切割数据，以便后序数据处理。3.collect阶段：当map阶段结束后，将切割完成的数据进行分区排序输送到环形缓冲区，系统默认按照key...

原创 手绘HDFS中NameNode和DataNode以及SecondaryNameNode工作机制（原理）

原创 关于Hadoop（ip）无法打开50070页面的根本原因！

在hadoop集群过程中，大家都知道，最后我们通过访问50070网页去测试群起是否成功。但是有小伙伴却时时打不开网页。原因是：首先我们来知道一下Windows访问网页的原理：当你访问网页时候，Windows会自动去寻找网址和ip的映射文件。*映射文件就在 C:\Windows\System32\drivers\etc 这个目录，小伙伴们可以去查看一下。 **如果没有Linux主机名和ip...

原创 Shell脚本语言必须掌握的四大命令！不会你就Low了！

1 cut 指令。顾名思义，cut有剪切的意思，所以它常用于切割某些文本或日志。例子如图：2 sed 指令。 语法格式为： sed ‘command’ filename，sed的全称为 Stream Editor即“流编辑器”（列出全称方便记忆），它可对一些数据进行增加，删除，替换操作，具体看例子。特别说明：这三种命令都在“模式空间”（执行sed命令时流编辑器会把文本存入模式空间中，...

原创 Linux中比较高级的命令（高手必备）

1 – top指令（在命令行输入top即可）执行过后，可以查看linux系统的内存和Cpu占用情况。2 – netstat -anp 指令 （anp 其中a指的是all） ，可用此命令查看linux服务监听的端口号，以及查看外网的连接情况3 – ps -aux | grep XXX(进程名) 这个指令主要查看在系统中运行了哪些进程 用管道符 “|” 和grep 即可过滤所需要查看...

原创 关于外部应用程序如何调用硬件设备大致图解