- 博客(17)
- 收藏
- 关注
原创 史上最全的spark面试题——持续更新中
1.spark中的RDD是什么,有哪些特性?答:RDD(Resilient Distributed Dataset)叫做分布式数据集,是spark中最基本的数据抽象,它代表一个不可变,可分区,里面的元素可以并行计算的集合Dataset:就是一个集合,用于存放数据的Destributed:分布式,可以并行在集群计算Resilient:表示弹性的,弹性表示1.RDD中的数据可以存储...
2018-09-09 16:34:10
68346
7
原创 SparkStreaming介绍以及演示示例程序
简介:SparkStreaming是spark的一个模块,进行实时流数据的处理,如何处理呢,就是把数据流沿用一系列的批次数据,然后用DStream的抽象封装那么DStream是什么呢?RDD + 时间 = 有一个抽象的DStream,代表一个连续的数据流我们都知道,spark的抽象是RDD,用SparkContext抽象进行封装,sparkSQL的抽象是DataSet/DataFrame,...
2018-09-03 17:11:10
761
原创 用Spark写出的内容存储到MySQL中
def data2MySQL (it: Iterator[(String,Int)])={ //一个迭代器代表一个分区,分区中有多条数据 //先获得一个JDBC连接 val conn: Connection = DriverManager.getConnection("jdbc:mysql://localhost:3306/bigdata?characterEncoding...
2018-08-29 22:01:48
601
原创 Scala中的二分查找法
def binarySerch(lines:Array[(Long,Long,String)],ip:Long):Int = { var low = 0 var high = lines.length-1 while (low <= high){ val middle = (low+high)/2 if((ip >= lines(middle)._1) &...
2018-08-29 21:59:40
1437
2
原创 将String类型的IP地址转换成Long类型
def ip2Long(ip:String):Long = { val fragments = ip.split("[.]") var ipNum = 0L for (i<-0 until fragments.length){ ipNum = fragments(i).toLong | ipNum << 8L } ipNum}
2018-08-29 21:58:12
691
原创 Scala高级语法之隐式(implicit)详解
implicit(隐式转换数据类型)定义一个变量a,数据类型是Int类型,但是我们赋予的值是3.12,所以它会报错,那么我们现在写一个方法那么现在就定义成功了,所以这就是隐式转换,编译器自动转换使用这个命令可以查看Scala中的隐式转换 然后我们开始介绍一下这个implicit隐式掌握implicit的用法是阅读spark源码的基础,也是学习Scala其他的开源...
2018-08-24 18:00:35
2041
原创 Scala中数组和集合的基本API语法
数组在Scala中,数组分为定长数组(Array)和变长数组(ArrayBuffer)* 定长数组指的是:长度不可变,内容可变* 变长数组指的是:长度可变,内容可变首先,我们检查一下内容是否可变:我们可以看到内容是可变的,那么长度呢?那么数组的长度是不可变的;我们现在来定义一个可变长数组:首先内容是可变的那么长度是否可变:我们可以看到,长度也是可变的,所以ArrayBuffer是...
2018-08-21 16:03:37
584
原创 Scala环境配置以及基本语法
1.进Scala的官网,点击下载2.选择要下载的是msi还是zip3.我选择的是msi,然后进行手动安装;4.环境搭建:(1)环境变量的配置:首先配置一个SCALA_HOME(2)然后配置PATH(3)测试出现上图就表示成功5.数据类型Scala 和 Java 一样,有 7 种数值类型 Byte、Char、Short、Int、Long、Flo...
2018-08-18 22:35:41
363
转载 带宽,线速以及吞吐量的概念
带宽带宽应用的领域非常多,可以用来标识信号传输的数据传输能力、标识单位时间内通过链路的数据量、标识显示器的显示能力。1、 在模拟信号系统又叫频宽,是指在固定的时间可传输的资料数量,亦即在传输管道中可以传递数据的能力。通常以每秒传送周期或赫兹(Hz)来表示。 2、在数字设备中,带宽指单位时间能够通过链路的数据量。通常以bps来表示,即每秒可传输之位数。线速线速指网络设备交换转发能力...
2018-08-17 18:16:45
2643
原创 高可用HA配置
前文:之前写了一篇高可用HA的namenode运行机制,那么今天我们来配置一下HA的环境,想详细看一下HA原理的可以在上一篇文章中查看,首先需要声明的是我的主机名是sparkKing-master,两个从节点是sparkKing-salve,sparkKing-salve02,所以这里请大家看到这几个词的时候,不要怀疑自己看到了个什么玩意儿,就是我当初傻了吧唧,为了装13起名的。好,现在开始配置!...
2018-08-16 23:07:41
625
1
原创 高可用HA的namenode运行机制
先给大家看一张图:那么下面我再详细介绍一下:hdfs 是一个分布式文件系统,有namenode和datanode,我们都知道,一旦namenode荡机,整个集群就会瘫痪,那么这个问题怎么处理: 一般我们都会有两个namenode,我们知道有一个secondary namenode,但是我们知道这个namenode并不能执行namenode的功能,他只是帮namenode做操作日...
2018-08-15 16:41:26
1135
原创 phoneix的安装部署以及使用
1.下载在官网http://www.apache.org/dyn/closer.lua/phoenix/中选择提供的镜像站点中下载与安装的HBase版本对应的版本。本地使用的1.3.1,故下载的apache-phoenix-4.11.0-HBase-1.3/的tar.gz包。 2.3 安装配置声明:本人由于之前脑壳子瓦特了, 主机名:sparkKi...
2018-08-13 16:27:31
437
原创 HBase的过滤器
比较过滤器因为继承自CompareFilter的过滤器比基类FilterBase多了一个compare()方法,它需要使用传入参数定义比较操作的过程。可用值己经列下表中。比较器CompareFilter所需要的第二类类型是比较器( comparator ),比较器提供了多种方法来比较不同的键值。比较器都继承自WritableByteArrayComparable, WritableBy...
2018-08-13 11:58:34
434
原创 HBase基本API操作(有图有真相)
首先,在写JAVA程序之前要将hbase的jar包准备好:1.命名空间的创建:2.查看所有的表:3.删除命名空间:4.创建表:5.删除表:6.设置表:这是原始的people表,那么我们现在进行更改:7.往表中添加内容:首先我先创建了一张表:现在添加内容:8.循环添加内容:...
2018-08-12 22:19:32
927
原创 HBase基本shell命令
1.进入hbase shell console$HBASE_HOME/bin/hbase shell(可以在profile以及.bash_profile进行全局的配置)如果有kerberos认证,需要事先使用相应的keytab进行一下认证(使用kinit命令),认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户hbase(main)> whoa...
2018-08-10 22:01:58
249
转载 史上最详细的hadoop环境搭建
史上最详细的Hadoop环境搭建2017年10月10日 15:23:59阅读数:94758GitChat 作者:鸣宇淳 原文: 史上最详细的Hadoop环境搭建 关注公众号:GitChat 技术杂谈,一本正经的讲技术 【不要错过文末活动哦】前言Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,会决定在...
2018-07-23 10:13:53
891
转载 记忆mySQL增删改查
表头(header): 每一列的名称;列(row): 具有相同数据类型的数据的集合;行(col): 每一行用来描述某个人/物的具体信息;值(value): 行的具体信息, 每个值必须与该列的数据类型相同;键(key): 表中用来识别某个特定的人\物的方法, 键的值在当前列中具有唯一性。MySQL脚本的基本组成与常规的脚本语言类似, MySQL 也具有一套对字符、单词以及特殊符号的使用规定, MyS...
2018-07-12 17:39:34
346
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人