- 博客(39)
- 收藏
- 关注
RSS订阅
原创 超详细的Kafka基础
Kafka基础zookeeper和bootstrap-server测试案例，下午详细介绍。测试案例（zk：2181）（b-s：9092）结果whitelist zookeeper正确whitelist bootstrap-server正确blacklist zookeeper正确blacklist bootstrap-server需指定w...
2019-11-30 18:54:25
1322
原创 spark DSL风格代码的一点使用总结
1、项目准备①.将hive-site.xml hdfs-site.xml配置文件导入项目resources中。②.导入hive、spark(spark-sql、spark-hive、spark-sql、spark-core)、hadoop、mysql、scala相关依赖。之所以要mysql和hive依赖，因为结果最终想实现到mysql和hive中。③修改hive-site.xml配置文件...
2019-11-30 11:17:10
1690
原创 一看就会的敏捷开发
敏捷开发： 就是把一个大项目分为多个相互联系，但也可独立运行的小项目，并分别完成，在此过程中软件一直处于可使用状态。优点：1、敏捷开发的高适应性，以人为本的特性。2、更加的灵活并且更加充分的利用了每个开发者的优势，调动了每个人的工作热情。缺点：由于其项目周期很长，所以很难保证开发的人员不更换，而没有文档就会造成在交接的过程中出现很大的困难。传统瀑布开发优缺点：...
2019-09-19 21:57:41
1526
原创 虚拟机中Linux系统克隆
要实现虚拟机的克隆，首先要有一台已经安装好的虚拟机，接下来我们来进行具体操作。操作主要分为两步。克隆虚拟机的安装以及更改网络配置。第一步，克隆虚拟机首先右键已经安装的虚拟机 ->管理 ->克隆。进入克隆向导。克隆源选择 “虚拟机中的当前状态“。下一步，创建“完整克隆”。这里编辑虚拟机名称，选择虚拟机克隆安装位置。之后点击完成，开始克隆。克隆完成之后，打开虚拟机，进行第二...
2019-08-22 20:13:08
769
原创 神兽麒麟kylin驾驭指南
简单介绍一下：Apache Kylin 是一个开源的分布式分析引擎 。Apache 顶级项目之一，国产的，很屌的，神兽，大家都叫他麒麟。支持多维分析，支持超大规模数据，支持亚秒级交互式分析查询，支持高并发…。1、前言在介绍kylin之前先介绍下数据处理分类。因为我们神兽Kylin就是ebay开发的一套OLAP系统 。那什么是OLAP呢？1.1、OLAP和OLTP数据处理大致可以分成两大...
2019-12-04 13:02:08
1032
原创 瞅一眼吧！redis---高级应用
1 redis高级的数据类型HyperLogLog1.1 介绍 Redis在2.8.9的版本中添加了HyperLogLog结构，HyperLogLog是用来做基数统计的算法，HyperLogLog的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定的，并且是很小的。 在Redis里面，每个HyperLogLog键只需要花费12kb内存，就...
2019-11-30 20:35:38
242
原创 redis---基础大全
Redis1、Redis介绍说明：①redis是基于内存的nosql的数据库。（nosql: not only structure query language） Redis是一种面向“键/值”对数据类型的内存数据库②no sql数据库有： hbase mongodb redis③redis的性能高： 读的速度：11万次/秒 写的速度：8.1万次/秒④redis底层的源码使...
2019-11-30 20:34:28
267
原创 kafka提高篇总结
Kafka继kafka基础之后再来点高级实用的。顺便做一个kafka整理总结。查看kafka自身维护偏移量：kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list master:9092 --topic flink --time -11、kafka自定义分区分析步骤： 1，设计一个子类继承分区父类，重写其中的part...
2019-11-30 20:27:02
137
原创 hive元数据异常解决方案
hive元数据异常解决方案 最近在IDEA里使用spark向hive中保存数据。添加依赖时hive-jdbc的版本写错2.3.6的hive写成1.3.6，并且执行成功。导致hive元数据异常。metastore 服务启动报错（启动命令：hive --service metastore &）Caused by: MetaException(message:Hive Schema v...
2019-11-30 11:40:53
1858
原创 Scala中groupBy和aggregate的一次使用
1、使用Scala实现一个方法，使得返回数组中，分别等于num，大于num，小于num的元素的个数。 例：getNum（Array（1,2,3,4,5,6），2）结果为（2,2,3）
2019-10-31 20:24:16
820
原创 Scala高阶函数
高阶函数1 概念如果一个函数的传入参数为函数或者返回值是函数，则该函数即为高阶函数。2. 传入参数为函数（重要）Scala中，函数是头等公民，和数字一样。不仅可以调用，还可以在变量中存放函数，也可以作为参数传入函数，或者作为函数的返回值。3. 传入参数为匿名函数（重要）在Scala中，你不需要给每一个函数命名，就像不必给每个数字命名一样，将函数赋给变量的函数叫做匿...
2019-10-31 20:11:24
191
原创 Scala 模式匹配和样例类
模式匹配和样例类1模式匹配Scala是没有Java中的switch case语法的，相对应的，Scala提供了更加强大的match case语法，即模式匹配，类替代switch case，match case也被称为模式匹配Scala的match case与Java的switch case最大的不同点在于，Java的switch case仅能匹配变量的值，比1、2、3等；而Scala的...
2019-10-31 17:59:18
206
原创 走进Scala
1. 了解Scala1.1Scala来源 Scala名字由来：Scalable Language两个单词相结合；意大利语中 scala意为“梯子”或“楼梯”，蕴含“更佳的编程语言”。 Martin Odersky（马丁·奥德斯基）于2001年基于Funnel的工作开始设计Scala。Funnel是把函数式编程思想和Petri网相结合的一种编程语言。Martin Odersky先前的...
2019-10-31 17:27:47
221
原创 Scala 隐式转换和隐式参数
隐式转换和隐式参数1 概念隐式转换和隐式参数是Scala中两个非常强大的功能，利用隐式转换和隐式参数，你可以提供优雅的类库，对类库的使用者隐匿掉那些枯燥乏味的细节。2 作用隐式的对类的方法进行增强，丰富现有类库的功能。object ImplicitDemo extends App{ //定义隐式类，可以把File转换成定义的隐式类RichFile implicit c...
2019-10-31 17:07:12
169
原创 Hbase DDL and DML
1 DDL1.1 建表create ：建表hbase(main):010:0> create 'user_info','base_info','extra_info'=> Hbase::Table - user_infohbase(main):043:0> create 'ns1:user_info', {NAME=>'base_info', BLOOMFI...
2019-10-31 16:10:38
266
原创 Hbase的java api
Hbase的Java api1 、准备工作创建Maven的Java项目并配置文件导入依赖<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <vers...
2019-10-31 15:58:53
157
原创 超明白的Hbase的存储机制
Hbase的存储机制1、存储模型数据的存储是每个Region所承担的工作-数据的存储是每个Region所承担的工作。-我们知道一个Region代表的是一张 Hbase表中特定Rowkey范围内的数据，-而Hbase是面向列存储的数据库，所以在一个Region中，有多个文件来存储这些列。-Hbase中数据列是由列簇来组织的，所以每一个列簇都会有对应的一个数据结构， * Hba...
2019-10-31 15:38:18
516
原创 Hbase过滤器
Hbase的过滤器1 、SingleColumnValueFilter/** * 高级查询 * 过滤器链查询 */public class Demo6_Filter { /** * 需求： * select * from ns1_userinfo where age <= 18 and name = narudo */ @Te...
2019-10-31 14:58:54
447
原创 linux时间同步服务器
一、搭建时间服务器1.需要在每台机器上安装一个命令 ntpyum install -y ntp2.以hadoop01服务器作为时间服务器需要对时间服务器进行配置配置在/etc/ntp.confps:如果通过vi明令发现这ntp.conf是空文件,那么在确定有ntp.conf.rpmnew文件的前提下删除当前空文件 rm -rf /etc/ntp.conf将ntp.co...
2019-10-21 09:52:59
757
原创 sqoop常用案例都在这
一、sqoop案例sqoop语句要求写成1行，多行时用\连接。sqoop的相关属性有先后顺序、有搭配要求。sqoop helpAvailable commands: codegen Generate code to interact with database records create-hive-table Import a table defi...
2019-10-21 09:13:41
317
原创 hive常用函数及案例大全
扩展hive函数 案列以及解释1.rand()；rand(int sedd)取随机数 返回值为double类型说明:返回一个0到1范围内的随机数。如果指定种子seed，则会等到一个稳定的随机数序列2.round(double n,a) ：对输入的n数，保留a位小数，四舍五入， round(double a) 四舍五入3.ceil：向上取整 select ceil(45.6)...
2019-10-15 12:49:53
907
原创 【flume】详细介绍及使用
1.Flume简介Apache flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统，用于有效地收集、聚合和将大量日志数据从许多不同的源移动到一个集中的数据存储（如文本、HDFS、Hbase等）。其使用不仅仅限于日志数据聚合。因为数据源是可定制的（内置Avro，ThriftSyslog，Netcat），Flume可以用于传输大量事件数据，包括但不限于网络流量数据、社交媒体...
2019-10-15 11:20:11
711
原创 支付宝沙盒环境
一、操作步骤1、支付宝扫一扫登陆支付宝官网。2、申请入驻支付宝平台。3、支付宝扫一扫登陆支付宝官网，找到沙盒入口。4、在支付宝端配置你的项目。5、通过支付宝秘钥生成器获得商户密钥对。6、下载秘钥生成器7、获得商户密钥对，并保存下来。8、通过商户公钥获得支付宝公钥。保存支付宝公钥。保存支付宝公钥。二......
2019-10-08 13:12:15
1885
2
原创 linux mysql5.7 彻底卸载
1、先查看mysql安装情况rpm -qa|grep -i mysql2、删除上图所有信息rpm -ev mysql-community-libs-5.7.26-1.el6.x86_64rpm -ev mysql-community-server-5.7.26-1.el6.x86_64rpm -ev mysql-community-client-5.7.26-1.el6.x...
2019-09-25 19:29:58
776
原创 flume基础
一：Flume：1.1：flume简介Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log dataApache flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统...
2019-09-23 15:36:46
392
原创 Habse环境搭建
HBase的环境搭建独立模式环境准备jdk1.7+hbase-1.2.1-bin.tar.gz独立模式不需要HDFS，使用的是本地文件系统搭建步骤1.上传hbase软件包至/opt/software/下，并解压到/opt/apps/里（安装目录） tar -zxvf hbase-1.2.1-bin.tar.gz -C /opt/apps/2.设置环境变量 vi /etc...
2019-09-21 08:30:30
183
原创 shell脚本基础
1.1 shell介绍Shell是命令解释器(command interpreter)，是Unix操作系统的用户接口，程序从用户接口得到输入信息，shell将用户程序及其输入翻译成操作系统内核（kernel）能够识别的指令，并且操作系统内核执行完将返回的输出通过shell再呈现给用户。Shell也是一门编程语言，即shell脚本，shell是解释执行的脚本语言，可直接调用linux命...
2019-09-20 09:23:35
567
原创 Linux基础命令大全
1.1 Linux目录结构1.2 Linux 各目录的作用/bin: (binaries) 存放系统命令的目录，所有用户都可以执行。/sbin : (super user binaries) 保存和系统环境设置相关的命令，只有超级用户可以使用这些命令，有些命令可以允许普通用户查看。/usr/bin：存放系统命令的目录，所有用户可以执行。这些命令和系统启动无关，单用户模式下不能执...
2019-09-20 09:04:54
314
原创 六大设计原则
1.单一职责一个类，只有一个引起它变化的原因。应该只有一个职责。每一个职责都是变化的一个轴线，如果一个类有一个以上的职责，这些职责就耦合在了一起。这会导致脆弱的设计。当一个职责发生变化时，可能会影响其它的职责。另外，多个职责耦合在一起，会影响复用性。例如：要实现逻辑和界面的分离。比如一个类T负责两个不同的职责：职责P1，职责P2。当由于职责P1需求发生改变而需要修改类T时，有可能会导致原本...
2019-09-19 21:55:26
119
原创 hdfs的全分布式环境搭建
在安装之前需要先做好以下几点准备：1.首先准备好三台虚拟机，每台虚拟机都已经安装好JDk环境。2.确定每台虚拟机的网络连接正常。ssh免密配置完成。3.确认自己主机的ip地址，主机名。我的是 master 192.168.174.170slave1 192.168.174.171slave2 192.168.174.172以上任何一点有问题，我的博客都有详细安装教程...
2019-09-02 14:17:33
143
原创 linux下yum安装
1.打开虚拟机，点击“编辑虚拟机设置”->再点击“CD/DVD(IDE)”，之后操作如下图所示。2.输入命令：df -h查看磁盘挂载情况。输入命令：mount /dev/cdrom /mnt将刚才的DVD1.iso挂载到mnt下。3.输入命令：cd /mnt/查看挂载是否成功。如下图代表挂载成功。目录下多出许多文件。4.输入命令：cd /stc/yum.repos.d进...
2019-09-02 01:18:53
240
原创 linux下mysql安装
安装之前 先查询自己Linux系统中 是否存在已经安装的mysqlrpm -qa | grep mysql如果存在需要卸载，执行以下命令。mysql-libs-5.1.73-8.el6_8.x86_64为当前存在的mysqlrpm -e --nodeps mysql-libs-5.1.73-8.el6_8.x86_641.现将rpm包上传到Linux系统里面(这4个rpm包就是mysql5...
2019-09-02 01:17:28
129
原创 SSH免密
1.分别在master 、slave1、slave2执行以下几步操作。首先安装ssh协议和rsync工具。如果已经安装了，会提醒安装过了，接着往下执行就好。输入命令：yum install ssh输入命令：yum insatll rsync然后启动ssh服务，已经开启了则重启服务。输入命令：service sshd restart或者 service sshd start2.用 rs...
2019-09-02 01:08:15
214
原创 zookeeper分布式一致性——Paxos算法
搭建HA集群的时候需要先安装zookeeper，而zookeeper的作用就是保持分布式一致性，它是如何保持分布式一致性的呢？接下来做一个具体了解。 说到zookeeper我们不得不提及Paxos，因为可以说Paxos是Zookeeper的灵魂。Paxos，它是一个基于消息传递的一致性算法，Leslie Lamport在1990年提出，近几年被广泛应用于分布式计算中。Google的Chubby...
2019-08-31 22:01:29
404
原创 Linux虚拟机安装
首先准备好系统镜像，我使用的是 CentOS-6.9-x86_64-bin-DVD1.iso下面开始安装。我们选择自定义安装。这里选择稍后安装。根据你的镜像选择，这里我们选择CentOS 6 4位。给虚拟机起个名字，选择虚拟机的存放位置。内存我们默认选择1024MB就好 这个后期可以根据需求改，可视化 很容易。这里最好选择第二个，选择第一个也可以。之后的I/O控制器...
2019-08-20 21:12:26
109
原创 linux修改profile文件出错，快速复原。
在linux系统中修改profile文件，不小心出错，导致除了cd外其他命令全都失效。出错后，首先找到profile文件，利用记事本打开，将错误修改过来，保存退出，重启系统然而并没有用。之后终端输入命令 export PATH=/usr/bin:/usr/sbin:/bin:/sbin 重新配置PATH环境变量，使命令生效。利用 vi 再次进入profile，确认是否还有问题，改正过来，保...
2019-08-20 18:07:08
3086
1
原创 mysql数据库转Oracle
Oracle SQL Developer是Oracle官方出品的数据库管理工具。今天具体操作一波。首先将要移植的mysql.sql文件还原到电脑的MySQL数据库中。并确保电脑中有Oracle数据库。然后就可以开始操作了。下载Oracle SQL Developer。网上资源到处都是。第一步，点击sqldeveloper.exe，让程序跑起来。第二步，建立Oracle连接，移植数据库接受...
2019-08-20 17:26:10
772
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人