自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 神兽麒麟kylin驾驭指南

​ 简单介绍一下:Apache Kylin 是一个开源的分布式分析引擎 。Apache 顶级项目之一,国产的,很屌的,神兽,大家都叫他麒麟。支持多维分析,支持超大规模数据,支持亚秒级交互式分析查询,支持高并发…。 1、前言 在介绍kylin之前先介绍下数据处理分类。因为我们神兽Kylin就是eba...

2019-12-04 13:02:08

阅读数 57

评论数 0

原创 redis---高级应用

1 redis高级的数据类型HyperLogLog 1.1 介绍 Redis在2.8.9的版本中添加了HyperLogLog结构,HyperLogLog是用来做基数统计的算法,HyperLogLog的优点是,在输入元素的数量或者体积非常非常大时, 计算基数所需的空间总是固定的,并且...

2019-11-30 20:35:38

阅读数 35

评论数 0

原创 redis---基础大全

Redis 1、Redis介绍 说明: ①redis是基于内存的nosql的数据库。(nosql: not only structure query language) Redis是一种面向“键/值”对数据类型的内存数据库 ②no sql数据库有: hbase mongodb redis ...

2019-11-30 20:34:28

阅读数 25

评论数 0

原创 kafka提高篇总结

Kafka 继kafka基础之后再来点高级实用的。顺便做一个kafka整理总结。 查看kafka自身维护偏移量:kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list master:9092 --topic flink --time ...

2019-11-30 20:27:02

阅读数 23

评论数 0

原创 超详细的Kafka基础

Kafka基础 zookeeper和bootstrap-server测试案例,下午详细介绍。 测试案例(zk:2181)(b-s:9092) 结果 whitelist zookeeper 正确 whitelist bootstrap-server 正确 blackli...

2019-11-30 18:54:25

阅读数 85

评论数 0

原创 hive元数据异常解决方案

hive元数据异常解决方案 ​ 最近在IDEA里使用spark向hive中保存数据。添加依赖时hive-jdbc的版本写错2.3.6的hive写成1.3.6,并且执行成功。导致hive元数据异常。 metastore 服务启动报错(启动命令:hive --service metastore &am...

2019-11-30 11:40:53

阅读数 67

评论数 0

原创 spark DSL风格代码的一点使用总结

1、项目准备 ①.将hive-site.xml hdfs-site.xml配置文件导入项目resources中。 ②.导入hive、spark(spark-sql、spark-hive、spark-sql、spark-core)、hadoop、mysql、scala相关依赖。 之所以要mysql...

2019-11-30 11:17:10

阅读数 157

评论数 0

原创 Scala中groupBy和aggregate的一次使用

1、使用Scala实现一个方法,使得返回数组中,分别等于num,大于num,小于num的元素的个数。 例:getNum(Array(1,2,3,4,5,6),2)结果为(2,2,3)

2019-10-31 20:24:16

阅读数 115

评论数 0

原创 Scala高阶函数

高阶函数 1 概念 如果一个函数的传入参数为函数或者返回值是函数,则该函数即为高阶函数。 2. 传入参数为函数(重要) Scala中,函数是头等公民,和数字一样。不仅可以调用,还可以在变量中存放函数,也可以作为参数传入函数,或者作为函数的返回值。 3. 传入参数为匿名函数(重要)...

2019-10-31 20:11:24

阅读数 29

评论数 0

原创 Scala 模式匹配和样例类

模式匹配和样例类 1模式匹配 Scala是没有Java中的switch case语法的,相对应的,Scala提供了更加强大的match case语法,即模式匹配,类替代switch case,match case也被称为模式匹配 Scala的match case与Java的switch ca...

2019-10-31 17:59:18

阅读数 18

评论数 0

原创 走进Scala

1. 了解Scala 1.1Scala来源 ​ Scala名字由来:Scalable Language两个单词相结合;意大利语中 scala意为“梯子”或“楼梯”,蕴含“更佳的编程语言”。 ​ Martin Odersky(马丁·奥德斯基)于2001年基于Funnel的工作开始设计Scala...

2019-10-31 17:27:47

阅读数 23

评论数 0

原创 Scala 隐式转换和隐式参数

隐式转换和隐式参数 1 概念 隐式转换和隐式参数是Scala中两个非常强大的功能,利用隐式转换和隐式参数,你可以提供优雅的类库,对类库的使用者隐匿掉那些枯燥乏味的细节。 2 作用 隐式的对类的方法进行增强,丰富现有类库的功能。 object ImplicitDemo extends A...

2019-10-31 17:07:12

阅读数 28

评论数 0

原创 Hbase DDL and DML

1 DDL 1.1 建表 create :建表 hbase(main):010:0> create 'user_info','base_info','extra_info' => Hbase::Table - user_...

2019-10-31 16:10:38

阅读数 18

评论数 0

原创 Hbase的java api

Hbase的Java api 1 、准备工作 创建Maven的Java项目并配置文件 导入依赖 <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hba...

2019-10-31 15:58:53

阅读数 27

评论数 0

原创 超明白的Hbase的存储机制

Hbase的存储机制 1、存储模型 数据的存储是每个Region所承担的工作 -数据的存储是每个Region所承担的工作。 -我们知道一个Region代表的是一张 Hbase表中特定Rowkey范围内的数据, -而Hbase是面向列存储的数据库,所以在一个Region中,有多个文件来存储...

2019-10-31 15:38:18

阅读数 22

评论数 0

原创 Hbase过滤器

Hbase的过滤器 1 、SingleColumnValueFilter /** * 高级查询 * 过滤器链查询 */ public class Demo6_Filter { /** * 需求: * select * from ns1_userinfo where ...

2019-10-31 14:58:54

阅读数 24

评论数 0

原创 linux时间同步服务器

一、搭建时间服务器 1.需要在每台机器上安装一个命令 ntp yum install -y ntp 2.以hadoop01服务器作为时间服务器 需要对时间服务器进行配置 配置在/etc/ntp.conf ps:如果通过vi明令发现这ntp.conf是空文件,那么在确定有ntp.con...

2019-10-21 09:52:59

阅读数 25

评论数 0

原创 sqoop常用案例都在这

一、sqoop案例 sqoop语句要求写成1行,多行时用\连接。 sqoop的相关属性有先后顺序、有搭配要求。 sqoop help Available commands: codegen Generate code to interact with database re...

2019-10-21 09:13:41

阅读数 33

评论数 0

原创 datax详细介绍及使用

一、dataX概览 1.1 DataX DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。 1.2 Feat...

2019-10-15 23:50:59

阅读数 429

评论数 0

原创 hive常用函数及案例大全

扩展hive函数 案列以及解释 1.rand(); rand(int sedd)取随机数 返回值为double类型说明:返回一个0到1范围内的随机数。如果指定种子seed,则会等到一个稳定的随机数序列 2.round(double n,a) : 对输入的n数,保留a位小数,四舍五入, ro...

2019-10-15 12:49:53

阅读数 22

评论数 0

原创 【flume】详细介绍及使用

1.Flume简介 Apache flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统,用于有效地收集、聚合和将大量日志数据从许多不同的源移动到一个集中的数据存储(如文本、HDFS、Hbase等)。 其使用不仅仅限于日志数据聚合。因为数据源是可定制的(内置Avro,Thrif...

2019-10-15 11:20:11

阅读数 39

评论数 0

原创 支付宝沙盒环境

一、操作步骤 1、支付宝扫一扫登陆支付宝官网。 2、申请入驻支付宝平台。 3、支付宝扫一扫登陆支付宝官网,找到沙盒入口。 4、在支付宝端配置你的项目。 5、通过支付宝秘钥生成器获得商户密钥对。 6、下载秘钥生成器 7、获得商户密钥对,并保存下来。 ...

2019-10-08 13:12:15

阅读数 159

评论数 0

原创 linux mysql5.7 彻底卸载

1、先查看mysql安装情况 rpm -qa|grep -i mysql 2、删除上图所有信息 rpm -ev mysql-community-libs-5.7.26-1.el6.x86_64 rpm -ev mysql-community-server-5.7.26-1.el6.x...

2019-09-25 19:29:58

阅读数 98

评论数 0

原创 flume基础

一:Flume: 1.1:flume简介 Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of ...

2019-09-23 15:36:46

阅读数 73

评论数 0

原创 Habse环境搭建

HBase的环境搭建 独立模式 环境准备 jdk1.7+hbase-1.2.1-bin.tar.gz 独立模式不需要HDFS,使用的是本地文件系统 搭建步骤 1.上传hbase软件包至/opt/software/下,并解压到/opt/apps/里(安装目录) tar -zxvf hba...

2019-09-21 08:30:30

阅读数 33

评论数 0

原创 shell脚本基础

1.1 shell介绍 Shell是命令解释器(command interpreter),是Unix操作系统的用户接口,程序从用户接口得到输入信息,shell将用户程序及其输入翻译成操作系统内核(kernel)能够识别的指令,并且操作系统内核执行完将返回的输出通过shell再呈现给用户。 ...

2019-09-20 09:23:35

阅读数 28

评论数 0

原创 Linux基础命令大全

1.1 Linux目录结构 1.2 Linux 各目录的作用 /bin: (binaries) 存放系统命令的目录,所有用户都可以执行。 /sbin : (super user binaries) 保存和系统环境设置相关的命令,只有超级用户可以使用这些命令,有些命令可以允许普通用户查看。...

2019-09-20 09:04:54

阅读数 61

评论数 0

原创 敏捷开发

敏捷开发: 就是把一个大项目分为多个相互联系,但也可独立运行的小项目,并分别完成,在此过程中软件一直处于可使用状态。 优点: 1、敏捷开发的高适应性,以人为本的特性。 2、更加的灵活并且更加充分的利用了每个开发者的优势,调动了每个人的工作热情。 缺点: 由于其项目周期很长,所以很...

2019-09-19 21:57:41

阅读数 695

评论数 0

原创 六大设计原则

1.单一职责 一个类,只有一个引起它变化的原因。应该只有一个职责。每一个职责都是变化的一个轴线,如果一个类有一个以上的职责,这些职责就耦合在了一起。这会导致脆弱的设计。当一个职责发生变化时,可能会影响其它的职责。另外,多个职责耦合在一起,会影响复用性。例如:要实现逻辑和界面的分离。 比如一个类...

2019-09-19 21:55:26

阅读数 24

评论数 0

原创 hdfs的全分布式环境搭建

在安装之前需要先做好以下几点准备: 1.首先准备好三台虚拟机,每台虚拟机都已经安装好JDk环境。 2.确定每台虚拟机的网络连接正常。ssh免密配置完成。 3.确认自己主机的ip地址,主机名。 我的是 master 192.168.174.170 slave1 192.168.174.1...

2019-09-02 14:17:33

阅读数 24

评论数 0

原创 linux下yum安装

1.打开虚拟机,点击“编辑虚拟机设置”->再点击“CD/DVD(IDE)”,之后操作如下图所示。 2.输入命令:df -h 查看磁盘挂载情况。 输入命令:mount /dev/cdrom /mnt 将刚才的DVD1.iso挂载到mnt下。 3.输入命令:cd /mnt/ 查看挂载是否成功...

2019-09-02 01:18:53

阅读数 26

评论数 0

原创 linux下mysql安装

安装之前 先查询自己Linux系统中 是否存在已经安装的mysql rpm -qa | grep mysql 如果存在需要卸载,执行以下命令。mysql-libs-5.1.73-8.el6_8.x86_64为当前存在的mysql rpm -e --nodeps mysql-libs-5.1.73-...

2019-09-02 01:17:28

阅读数 25

评论数 0

原创 SSH免密

1.分别在master 、slave1、slave2执行以下几步操作。 首先安装ssh协议和rsync工具。如果已经安装了,会提醒安装过了,接着往下执行就好。 输入命令:yum install ssh 输入命令:yum insatll rsync 然后启动ssh服务,已经开启了则重启服务。 输入命...

2019-09-02 01:08:15

阅读数 29

评论数 0

原创 zookeeper分布式一致性——Paxos算法

搭建HA集群的时候需要先安装zookeeper,而zookeeper的作用就是保持分布式一致性,它是如何保持分布式一致性的呢?接下来做一个具体了解。 说到zookeeper我们不得不提及Paxos,因为可以说Paxos是Zookeeper的灵魂。Paxos,它是一个基于消息传递的一致性算法,Le...

2019-08-31 22:01:29

阅读数 66

评论数 0

原创 虚拟机中Linux系统克隆

要实现虚拟机的克隆,首先要有一台已经安装好的虚拟机,接下来我们来进行具体操作。 操作主要分为两步。 克隆虚拟机的安装以及更改网络配置。 第一步,克隆虚拟机 首先右键已经安装的虚拟机 ->管理 ->克隆。进入克隆向导。 克隆源选择 “虚拟机中的当前状态“。下一步,创建“完整克隆”。 这里...

2019-08-22 20:13:08

阅读数 410

评论数 0

原创 Linux环境下 jdk的安装

1.卸载原有jdk 2.将jdk架包放入Linux系统 3.解压架包 4.配置环境变量 5.测试是否成功。

2019-08-21 08:27:19

阅读数 30

评论数 0

原创 Linux虚拟机安装

首先准备好系统镜像,我使用的是 CentOS-6.9-x86_64-bin-DVD1.iso 下面开始安装。我们选择自定义安装。 这里选择稍后安装。 根据你的镜像选择,这里我们选择CentOS 6 4位。 给虚拟机起个名字,选择虚拟机的存放位置。 内存我们默认选择1024MB就好 这...

2019-08-20 21:12:26

阅读数 27

评论数 0

原创 linux修改profile文件出错,快速复原。

在linux系统中修改profile文件,不小心出错,导致除了cd外其他命令全都失效。 出错后,首先找到profile文件,利用记事本打开,将错误修改过来,保存退出,重启系统然而并没有用。 之后终端输入命令 export PATH=/usr/bin:/usr/sbin:/bin:/sbin 重...

2019-08-20 18:07:08

阅读数 260

评论数 0

原创 mysql数据库转Oracle

Oracle SQL Developer是Oracle官方出品的数据库管理工具。今天具体操作一波。 首先将要移植的mysql.sql文件还原到电脑的MySQL数据库中。并确保电脑中有Oracle数据库。然后就可以开始操作了。 下载Oracle SQL Developer。网上资源到处都是。 第一步...

2019-08-20 17:26:10

阅读数 32

评论数 0

原创 java实现冒泡算法及三种常见优化

冒泡算法 实现代码 优化一 优化二

2019-03-10 00:03:18

阅读数 523

评论数 1

提示
确定要删除当前文章?
取消 删除