- 博客(120)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 livy使用RestAPI提交jar包样例
完成的样例使用RESTAPI https://github.com/flying632/livyRestExample.git
2018-04-06 10:39:27
3476
1
原创 spark分发jar包性能调优
首先spark有四种运行方式：本地模式：spark单机运行Standalone模式：构建一个由Master+Slave构成的Spark集群，Spark运行在集群上Spark on Yarn 模式： spark直接连接Yarn，不需要额外构建Spark集群Spark on Mesos模式：spark直接连接Mesos，不需要额外构建Spark集群Spark程序在运行Yarn上： ...
2018-04-06 10:33:37
1546
原创 使用归并排序的思想寻找逆序对（O(NlogN)）
/** * 使用归并排序的思想寻找逆序对（O(NlogN)） * @author Administrator * */public class Nixudui { public static int InversePairs(int[] data,int length){ if(data==null||length==1) return 0;
2018-04-03 11:13:00
627
转载 java中HashMap与Hash表详解
转载至https://blog.csdn.net/u010297957/article/details/51974340 哈希算法，是一类算法；哈希表（Hash Table）是一种数据结构；哈希函数，是支撑哈希表的一类函数；Map是映射、地图的意思，在Java中Map表示一种把K映...
2018-04-03 09:44:39
27326
6
原创 HBase详解
HBase的应用场景 海量数据，实现高效随机访问 高吞吐量 很好的性能伸缩能力 能够同时处理结构化和非结构化的数据 不适合事务性很高的场景 分布式要求高可靠性 Hbase适用于低时延，高吞吐量，精度或前缀的查询，不适用于模糊查询的数据库 HBase: 传统数据库： 分布式...
2018-03-30 20:55:05
283
原创 取第k大的数
public class MoreThanHalf { /** * 升序 * @param array * @param start * @param end * @return */ public static int partition(int[] array, int start, int end){ int num = array[start]; int...
2018-03-27 19:28:39
444
原创 TCP、UDP详解
可靠性保证、安全保证、时延保证、带宽保证 其中TCP提供可靠性保证 安全保证可以有应用层提供 当低层无法提供时延保证、带宽保证，运输层是无法保证的使用TCP的协议： FTP（文件传输协议） Telnet（远程登录协议） SMTP（简单邮件传输协议） POP3（和SMTP相对，用于接收邮件） HTTP协议等。SYN是同步标志 只在TCP三次握手时有效，提示服务端检查序列编号，在第三次
2018-03-27 11:11:50
588
原创 TCP/UDP套接字实践
整个流程是客户端想服务端发信息，服务端返回大写后的消息 从代码中可以看出UDP与TCP的差异： UDP是将数据丢进套接字之前，必须为分组指定目的地址 TCP是client向服务端申请连接，会有一个欢迎的套接字，即代码中的serverSocket，之后服务端会为客户创建一个专门的连接套接字，即connectionSocket，用于通信 其中clientSocket = socket(AF_I...
2018-03-26 21:01:05
609
原创 字典树小结
使用二维数组保存字典树，用于处理最长字符串等问题 字典树保存用了两类ID，一类是第一位的，依据插入的先后顺序计数 第二类ID是，每个节点上最多有26个子节点，因为英文字母只有26种，所以用插入字符的-‘a’作为第二类值字典树类模板class Trie{ private int fid=0; private int tid; private int ans = 0;
2018-03-22 09:55:42
189
原创 Yarn的原理以及配置不同的资源分配策略
1.YARN是什么，为什么会产生YARN，它解决了什么问题？ Yarn是一个分布式的资源管理系统，它是hadoop集群的资源管理系统，它使得各种类型的应用可以运行在hadoop上面，并通过Yarn从系统层面进行统一管理，使得各种应用共享集群资源它诞生的原因是原来的MapReduce框架中的一些不足： （1） JobTracker单点故障隐患，一旦master出现故障，将导致整个集群不可用...
2018-03-18 16:38:53
3838
原创 Mapreduce的优化策略
（1）Combiner优化 在之前的shuffle过程中的map端生成最终溢写文件时，例如：aaa 1, aaa 1 这样的数据会被合并为{aaa [1,1]} ，而我们可以通过给每个map显示的设定combiner，来将这个节点的输出优化，即如前面的例如，如果他们是同一节点的数据，他们会合并为{aaa，2}，combiner相当于小型的reduce，不过他们这要求reduce的输入数据格式和输...
2018-03-18 16:35:14
1496
原创 Mapreduce的shuffle过程
Shuffle描述着数据从map task 输出到reduce task输入的这段过程。 由于大部分map task和reduce task都是运行在不同的节点上的，shuffle的作用就是减小reduce task 跨节点去拉取map task运行结果的代价，减少不必要的消耗；另外磁盘IO无疑是十分影响效率的地方，所以尽可能的通过在内存中解决问题，所以我们对shuffle过程的期望是： ...
2018-03-18 16:33:34
352
原创 hdfs空间用完后，陷入安全模式，进行扩充
使用虚拟机搭建的hadoop框架 虚拟机空间用完了，hdfs陷入永久的安全模式下图是各个datanode的状况 其中第一个和第三个节点是已经扩容的，第二未扩容 首先要区分容量的定义 Capacity = used + Non DFS Used + remaining Non DFS Used 是指再分配给hdfs的空间中非hdfs数据所侵占的数据大小其中的ext4是cent...
2018-03-18 15:49:06
969
转载 Non hdfs Used
最近研究hadoop hdfs 中NonDFSUsed容量是什么，Non DFS Used为非hadoop文件系统所使用的空间，比如说本身的linux系统使用的，或者存放的其它文件。有的时候你会发现HDFS UI界面上显示的Non DFS Used很大，但实际的服务器上都没有那么大的空间了，看看下边的解释：Non DFS Used = Configured Capacity - Remainin
2018-03-17 14:49:22
608
原创 sql语句（三）
jdbc连 oracle用的jar包是jdbc6.jar其中urlthin指明这是瘦客户端的连接方式，不需要安装oracle客户端，只需要有jar包 对应的连接方式的是oci driver：oracle.jdbc.OracleDriver url: jdbc:oracle:thin:@localhost:1521:xe mysql连接jar包用mysql-connector-jav...
2018-03-12 22:36:03
175
原创 sql复习（二）
在sql语句中 单引号包含表示字符串 双引号只是普通字符rownum是对结果集的编序排列 只能使用<来查询 例如：SELECT ROWNUM,ENAME FROM EMP WHERE ROWNUM=1可以查出第一条数据 SELECT ROWNUM,ENAME FROM EMP WHERE ROWNUM=2 查不出数据解决办法，对rownum先起一个别名 SELECT EN...
2018-03-12 22:30:47
162
原创 sql语句复习（一）
在oracle中默认大写，如果不加双引号的话，emp会被转换成大写，进行查询 SELECT * from “emp” numberic（5,2）5位有效数字，2为小数部分 oracle中的不等于号 <> != ^= ~=escape ‘escape_character’ 关键字，允许在字符串中搜索通配符，而不将其作为通配符 escape_character 是放在通配符...
2018-03-12 22:29:37
900
原创 线程
一个类继承Thread，不适合多个线程共享资源，实现Runnable接口，可以方便实现资源共享 因为一个线程只能启动一次，通过Thread实现线程时，线程和线程所要执行的任务是捆绑在一起的。也就使得一个任务只能启动一个线程，不同的线程执行的任务是不相同的，所以没有必要，也不能让两个线程共享彼此任务中的资源。 一个任务可以启动多个线程，通过Runnable方式实现的线程，实际是开辟一个线程，将任...
2018-03-12 22:20:21
145
转载 筛选法求素数
本文转自于：http://dalu.blogbus.com/logs/37977984.html由于一个合数总是可以分解成若干个质数的乘积，那么如果把质数（最初只知道2是质数）的倍数都去掉，那么剩下的就是质数了。例如要查找100以内的质数，首先2是质数，把2的倍数去掉；此时3没有被去掉，可认为是质数，所以把3的倍数去掉；再到5，再到7，7之后呢，因为8，9，10刚才都被去掉了，而100以内的任意合
2018-02-24 10:56:09
222
原创 快排再次理解
快排可以与冒泡排序作比较，冒泡排序是为了将每一个元素放到他的对应位置上，做了许多次无用的比较和置换，而快速排序正是解决这个问题，在快速排序的过程中，我们会先挑一个元素作为基准元素，我们要将它放到合适的位置，并尽可能减少多余的比较与置换 在快排中不存在置换，在算法中巧妙地设计，将置换变成了赋值public static void mquicksort(int[] num,int start,i...
2018-02-22 18:14:07
228
原创 接收一个10字节数据，判断其中有多少位是0
C语言版本：#include<stdio.h>typedef unsigned char byte;int count_bits(byte data){ int count = 0; for(int i=0;i<8;i++){ if((data&(1<<i))==0){ count++;
2017-12-19 10:14:58
1697
原创 剑指offer关于链表的一些操作(java)
import algorithd.LinkList.Node;/***@author 风雨落*@version 2017年12月16日下午6:21:29*@title java写链表尝试*/class LinkList { Node head; //添加数据 public void add(int data){ Node newNode = new No
2017-12-18 20:23:09
204
原创 最大子序列（java）
考虑有可能输入全为负数的情况import java.util.Scanner;/***@author 风雨落*@version 2017年12月17日下午8:33:41*@title*/public class subList { public static void main(String[] args) { // TODO Auto-generated meth
2017-12-18 15:14:01
298
原创 通过位运算求一个集合的子集
整体的思路： 首先要清楚位运算的意义：1<for(int i=0;i<(1<<n);i++){ print_subset(n,i,num);}void print_subset(int n,int s,double[] num){ for(int i=0;i<n;i++){ if((s&(1<<i))!=0){
2017-12-13 20:35:23
816
1
原创 Apriori算法，关联分析
Apriori用于寻找频繁项集，挖掘一般规则Apriori就是先验，通过此原理，可以帮我们减少可能感兴趣的项集，即如果一个项集是频繁的那么他的自己也是频繁的，而一个项集是非频繁的，那么他的子集也是非频繁的，这原理可以很好帮我们缩小范围 思路以及整体代码实现：生成测试数据#最初的订购清单def loadData(): return [[1, 3, 4], [2,3,5], [1, 2
2017-12-12 11:57:45
461
原创 基于框架开发的办公软件实例
项目名称易沃克 github地址是https://github.com/flying632/EWork3.0/tree/master常用的一些功能在app中都有所应用 源代码是最好的教科书，所有有所疑问可以在github上的代码中寻找 下面是这个app的一些页面：
2017-11-21 17:39:16
431
转载 scala BitSet实现算法：一千万个随机数，随机数范围在1到1亿之间，现在要求写出一种算法，将1到1亿之间没有出现的随机数求出来
闲话跟BitSet缠了好几天，书上介绍的甚少，过了好几遍文档，和java的BitSet相比，可以像Set一样地操纵的设计更合理，但总觉得少了很多有用的方法，和其他Set相比，可能大数据量时效率提升明显，但使用者很难接触到底层的结构（java的BitSet并没有这样），很难作用最大化，曾无数次给我一种用了假BitSet的感觉，所以说的不对的，还请大家不吝赐教！从实例出发实现算法：一千万个
2017-11-16 10:56:31
976
原创 软件工程中的常见耦合
耦合性(Coupling)，也叫耦合度，是对模块间关联程度的度量。耦合的强弱取决与模块间接口的复杂性、调用模块的方式以及通过界面传送数据的多少。模块间的耦合度是指模块之间的依赖关系，包括控制关系、调用关系、数据传递关系。模块间联系越多，其耦合性越强，同时表明其独立性越差。软件设计中通常用耦合度和内聚度作为衡量模块独立程度的标准。划分模块的一个准则就是高内聚低耦合。一般模块之间可能的连接方式
2017-11-14 15:58:41
7922
转载 详解Scala的集合与高阶函数搭配
前言Java 里的 Null Pointer Exception写过一阵子的Java后, 应该会对NullPointerException (NPE)这种东西很熟悉，基本上会碰到这种异常，就是你有一个变量是 null，但你却调用了它的方法，或是取某个的值。举例而言，下面的 Java 代码就会抛出NPE异常：例1:String s1 = null;System
2017-11-10 11:25:45
414
原创 mui：第一次在AppStore 上线应用
时间：在第一天上午发布，第二天早上便通过了，所以整体还是很快的 过程：整体是一个开发了差不多有两个月的项目—易沃克，从最初的一无所知的忐忑，到最后的淡然，感觉受益良多，（闲话少说） 这是H5的项目，是基于mui框架的基本模型，总体上是有js和html语言写成，并已经实现了具体的功能，可以投入使用，但作为一个H5文件，不可避免的就是他的性能瓶颈，他的刷新可以说是令人很不满意的，我使用的是appup
2017-11-08 14:55:32
3532
1
原创 mui：手机app做国际化
mui做国际化，实现多语言，使用的是JQuery，实现语言的替换需要jquery-3.2.1.js和jquery.i18n.properties-min-1.0.9.js文件提供支持，稍候我提供一个demo，需要的朋友可以在里面找，整个过程的国际化大致分为 第一步： 在页面中， 为需要替换的文字设置id<h1 id="title" class="mui-title">标题</h1>当然不要忘
2017-10-12 19:05:02
1689
转载 编程语言分类，编译型、解释型、和静态与动态
编译型语言在程序执行之前，有一个单独的编译过程，将程序翻译成机器语言，以后执行这个程序的时候，就不用再进行翻译了。解释型语言，是在运行的时候将程序翻译成机器语言，所以运行速度相对于编译型语言要慢。C/C++ 等都是编译型语言，而Java，C#等都是解释型语言。虽然Java程序在运行之前也有一个编译过程，但是并不是将程序编译成机器语言，而是将它编译成字节码（可以理解为一个中间
2017-09-19 16:10:16
648
原创 java建邻接链表
建邻接链表分三部分： 要有一个总类Graph来存储所有的头节点//邻接表实现图的建立 public class Graph { public MyList<VertexNode> adjList; // 保存邻接表的头节点 public MyList<Boolean> visit; public Graph( ) { adjList = new MyList<Vert
2017-09-14 19:58:33
926
原创 mui：使用js在移动端进行精准定位改进版，以及坐标转换
我们以android端为案例谈，最初时我直接调用百度地图第三方库，然后直接就定位，这样的话，只可以定位到城市一级，比较伤，无法精确定位，于是就要改变 之后尝试使用html5的地理定位，如此的话，发现只有在开启GPS时，才会获取到定位信息，这样获得的信息是精确的，这样做：//初始化地图mui.plusReady(function() { getInfo(); m
2017-09-02 16:22:27
17908
7
原创 Github本地仓库与远程仓库使用心得
首先要分清本地仓库和远程仓库 一般我们一系列命令git config –global user.name “你的名字”git config –global user.email “你的邮箱”通过命令cd转换到一个目录向下可以通过mkdir命令来新建一个文件夹，作为仓库通过git init 这样一个本地仓库就建成了将要提交的文件复制到仓库目录下，这样通过git add 文件名 也可以
2017-08-20 09:51:19
1406
原创 mui：html5中对二维码，以及条形码扫描控件
这个识别，plus.barcode来实现扫描，当然这是html app会有加载延迟的问题，如果将这个页面作为跳转页面，会有可能产生控件位置不对的问题，这样，我的解决方案是预加载， 例如这样： mui.init({ preloadPages: [{ url: 'scan.html', id: 'scan.h
2017-08-03 17:03:53
8817
6
原创 mui中将网页作为页面一部分进行展示
通过子页面的方法 知晓网址，将其这样直接嵌入就可以展示mui.init({ subpages: [{ url: article_url, id: 'artical.html', styles: {
2017-08-03 16:56:28
5941
原创 mui中页面之间传值
一种是在加载跳转页面时附加参数mui('.mui-table-view').on('tap','.mui-table-view-cell',function(){ var cell_id = this.getAttribute('id'); mui.openWindow({ id:'dynamics_detail.h
2017-07-30 08:42:52
1190
原创 mui：在javascript中使用百度地图实现精确定位（一）
在国内一般都使用百度地图、高德地图等来实现定位， 首先你要申请密钥， 可以参考网上的教程https://jingyan.baidu.com/article/363872eccda8286e4aa16f4e.html 其次就是使用了，引入<script type="text/javascript" src="http://api.map.baidu.com/api?v=2.0&ak=你申请的ak码
2017-07-24 18:23:39
10089
原创 多道程序系统
我们讨论其中的多道程序系统 多道程序设计技术是在计算机内存中同时存放几道相互独立的程序，使它们在管理程序控制下，相互穿插运行，两个或两个以上程序在计算机系统中同处于开始到结束之间的状态, 这些程序共享计算机系统资源。与之相对应的是单道程序，即在计算机内存中只允许一个的程序运行。 对于一个单CPU系统来说，程序同时处于运行状态只是一种宏观上的概念，他们虽然都已经开始运行，但就微观而言，任意时刻，C
2017-07-10 20:10:36
8492
SecureCRT.rar
2018-05-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人