- 博客(21)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Spark Kafka
Spark Streaming with Kafka integration在这里我们开始介绍如何配置spark Streaming去接受来自kafka的数据，有两个方法能够做到：1.老方法，使用的是Receivers和kafka的高级API2.新方法，取消了使用Receivers他们拥有不同的编程模型，代表特征和保证语义，所以，阅读来获得更多的细节，两个方法都是被考虑经过现在spar...
2018-12-02 15:35:39
530
原创 HBase Rowkey设计原则
Rowkey设计原则HBase由于其存储和读写的高性能，在OLAP及时分析中发挥重要作用，HBase的查询只能通过rowkey来查询（rowkey便表示唯一一行记录）rowkey设计的优劣直接影响读写性能。HBase中的数据是按照rowkey的ASCII字典书序来进行全局排序举例：假如有5个RowKey：”012“，"0","123","234","3"
2018-11-21 21:46:19
1351
原创 Hadoop YARN调度原则
YARN调度原则调度选项YARN有三种调度器可用：FIFO调度器(FIFO Scheduler)，容量调度器(Capacity Scheduler)和公平调度器(Fair Scheduler)FIFO调度器：将应用放置在一个队列中，然后按照提交的顺序(先进先出)进行应用。首先为队列中的第一个应用的请求分配资源，第一个应用的请求被满足后依次为队列中的下一个应用服务容量调度器容量...
2018-11-21 08:59:48
794
原创 Hadoop HDFS读写流程
HDFS读数据流程原理图：读取过程分析—图示：读取过程分析—描述:1.客户端或者用户通过调用FileSystem对象的open()方法打开需要读取的文件，这对HDFS来说就是常见的一个分布式文件系统的一个读取实例FileSystem通过远程协议调用NameNode确定文件的前几个Block的位置。对于每一个Block，NameNode返回一个含有该Block拷贝...
2018-11-19 19:48:17
406
原创 Spark RDD算子练习题
给定数据如下：12 张三 25 男 chinese 5012 张三 25 男 math 6012 张三 25 男 english 7012 李四 20 男 chinese 5012 李四 20 男 math 5012 李四 20 男 english 5012 王芳 19 女 chinese 7012 王芳 19 女 math 7012 王芳 19 女 english 7013 ...
2018-11-04 21:31:33
2504
原创 Spark RDD算子（transformation + action）
概念RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。跨界点磁盘和内存数据大小可伸缩容错不...
2018-11-04 21:28:48
169
原创 大数据背景下的数据融合
为什么需要数据融合？最重要的原因是用户数据的割裂性，无法全面勾勒用户的全貌，比如你购物的数据在京东天猫、通话数据在移动电信、交易数据在银行金融、社交数据在腾讯微信。数据的割裂性导致对用户的认识比较片面，可能做出错误的决策。比如：现在京东与头条的”京东计划“就是数据合作的一个案例，就是你在京东搜索的物品，会不定时在浏览今日头条中呈现，增加购买率。这里有个缺陷是如果已在淘宝购买的物品，再次...
2018-11-04 21:25:47
14982
转载 ArrayList和LinkedList比较
ArrayList和LinkedList比较一、ArrayList与LinkedList 在JDK中所在的位置 从图中可以看出,ArrayList与LinkedList都是List接口的实现类,因此都实现了List的所有未实现的方法,只是实现的方式有所不同。Thinking in Java只描述： 从中可以看出面向接口的好处, 对于不同的需求就有不同的实现! ...
2018-08-27 15:55:42
145
原创 JAVA 面向对象概念详解
概念1、什么是面向对象一切看待问题的思维方式，着眼于找到一个特殊功能的具体的个体，然后委托这个个体去做某些事情，我们称之为“对象“；在java中，把所有的一切事物都看作对象，一种是可见的，一种是虚拟的物体2、面向过程编程和面向对象编程的区别是什么？面向过程编程主要描述一件事或者一个过程的执行 面向对象编程主要用语言描述将现实世界中存在的事物，或者规律。无限接近机器语言。3...
2018-08-06 08:15:17
174
原创 JAVA 类的访问权限 (Thinking In Java)
在一个类的内部，其成员（包括成员变量和成员函数）能否被其他类所访问，取决于该成员的修饰词。Java的类成员访问权限修饰词有四类：private，无（默认情况下），protected和public。其权限控制如下表： 其中，默认情况下没有任何修饰词，这样的类成员具有“包访问权”，即位于同一个包中的类对其有访问权；而protected为“继承访问权”，即该类的子类对其具有访问权（同时，位于同...
2018-08-05 10:29:40
168
原创 JAVA 静态方法
静态方法概述 ： 1、静态的成员方法，只能访问静态成员变量 2、非静态的成员方法，既可以访问静态的成员变量，也可以访问非静态成员变量 3、访问静态成员变量和方法的语法： 1）类名.静态成员方法名/静态成员变量名 2）对象名.静态成员方法名/静态成员变量名（因为对象是基于类的）内存分配： 1、将TestStatic.cla...
2018-08-04 21:30:02
304
1
原创 JAVA 面向对象
面向对象概念什么是面向对象一切看待问题的思维方式，着眼于找到一个特殊功能的具体的个体，然后委托这个个体去做某些事情，我们称之为“对象“；1、在java中，把所有的一切事物都看作对象，一种是可见的，一种是虚拟的物体2、面向过程编程和面向对象编程的区别是什么？ 面向过程编程主要描述一件事或者一个过程的执行面向对象编程主要用语言描述将现实世界中存在的事物，或...
2018-08-04 19:55:12
219
原创 JAVA string类
Java string类字符串长度用于获取有关对象的信息的方法称为访问器方法，String类的一个访问器方法是length()方法，它返回字符串对象包含的字符数 public static void main(String[] args){ String site = "wwww.baidu.com"; int len = site.le...
2018-08-01 20:19:28
122
原创 JAVA 特殊的String类型
Java中特殊的String类型Java中string是一个特殊的包装类数据，有两个创建形式：1.String s = “abc”;2.String s = new String(“abc”); 关于1在*栈*中创建一个对String类的对象引用变量s，然后去查找“abc”是否被保存在*字符串常量池*中；如果没有，则在栈中创建 char型的‘a’，‘b’，‘c’，然后在...
2018-08-01 11:42:31
368
原创 JAVA实现 数组查询（二分法）
前言： Arrays类的binarySearch()方法，可使用二分搜索法来搜索指定的数组，以获得指定对象。该方法返回要搜索元素的索引值。binarySearch()方法提供了多种重载形式，用于满足各种类型数组的查找需要。binarySearch()方法有两种参数类型 (1) binarySearch(Object[] a,Object key) 如果key包含在数组中，则返回搜素值的索引；否...
2018-07-26 17:04:54
1193
原创 JAVA实现 填充替换数组元素
引言： 数组中的元素定义完成后，可通过Arrays类的静态方法fill()来对数组中的元素进行替换。该方法通过各种重载形式可完成对任意类型的数组元素的替换。fill()方法有两种参数类型，下面以int型数组维例介绍fill()方法的使用 方法说明： （1）fill(int[] a,int value) , 该方法将指定的int分配给int型数组的每个元素 （2）fill(int[] a ,...
2018-07-26 16:39:40
3125
原创 JAVA实现 数组遍历
引言： foreach是java5的新特性，主要增强了for循环，用在数组和集合上很方便。foreach不是一个关键字，只是一个格式；foreach语句格式： for(元素类型type 元素变量value ： 遍历对象obj) { 引用x的java语句； } 实例分析：package 实例;public class Tautog ...
2018-07-26 15:00:15
536
原创 JAVA 数组遍历
概述： 遍历数组就是获取数组中的每个元素，通常遍历数组都是使用for循环来实现。遍历一维数组很好理解，遍历二维数组需要使用双层for循环，通过数组的length属性可获得数组的长度。 实例分析： 在目录中创建一个类Trap，在主方法中编写代码，定义二维数组，实现将二维数组中的元素呈阶梯输出。代码：package 实例;public class Trap {//创建类 pu...
2018-07-26 14:44:29
1859
原创 JAVA 选择排序算法
算法分析： 直接选择排序的基本思想是将指定排序位置与其他数组元素对比，如果满足条件就交换，区别BubbleSort，不是交换相邻元素，而是把满足条件的元素与指定位置的元素交换。好比一个学生，从包含数字1～10的乱序数字堆中分别选择合适的数字，组成一个排序，他从中选出1，排在第一位，然后选出2（此时堆里已经没有1了），以此类推，直到找到数字9，放到8后面，最后剩下10，就不要选择了，同时排序结束。...
2018-07-26 11:41:47
232
原创 JAVA 实现冒泡排序算法
算法分析： BubbleSort算法是由双层循环实现的，其中外层循环用于控制排序次数，一般为排序的数组长度减1，因为最后一次循环只剩下一个元素不需要对比。内层循环用于对比数组中相邻元素的大小，以确定是否交换位置，对比和交换次数随排序次数而减少。重点内容代码： package 实例;import java.util.Arrays;public class BubbleSort {...
2018-07-25 10:09:38
259
原创 JAVA 成绩等级划分
package 成绩等级;import com.sun.jdi.event.Event;import com.sun.jdi.event.ExceptionEvent;import java.util.Scanner;public class Score { public static void main(String[] args) { Scanne...
2018-07-24 11:12:39
4989
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人