- 博客(86)
- 收藏
- 关注
RSS订阅转载 Hadoop笔记 一
Hadoop 概述和结构1. Hadoop 构成 Hadoop 是有两部分构成一个是分布式计算框架MapReduce另一个是分布式存储框架HDFS.2.HDSF HDFS是一个Master-Slave结构,其有一个NameNode和多个DataNode,组成,NameNode主要记录HDSF上文件的所在的位置和数据块控制着整个文件系统,并通过NN寻址找到DataNo...
2018-03-28 17:46:00
196
转载 zookeeper 伪分布安装
zookeeper是一个分布式应用程序协调系统，主要会提供配置服务，分布式服务，权限服务，锁定功能以及分布式数据同步，今天主要说明一下zookeeper如何搭建伪分布1. 下载zk程序，并解压，，略。2. zk需要一个数据存放目录，其实就是zk各个节点存放数据和日志的目录，日志也可以放到其他文件夹中3. 修改zk的配置，拷贝conf目录下的zoo_sample.cfg ...
2018-03-04 11:24:00
162
转载 数据库索引
目前工作中涉及索引，这就像了解一下数据库中的索引设计，进而复习一下大学时候的数据库索引首先我们索引是在数据表上创建的，索引这个东东在数据库面试时经常问道，一般回答是索引就像一本书的目录一样，可以快速定位需要查找的内容，提高查询效率，简化查询步骤，这样的回答非常正确，但是其实就是废话，没有说明索引真正工作方式和为什么就提高了查询效率减低了查询时间。如果想真正了解数据库索引就要回答如...
2018-03-01 10:52:00
146
转载 算法--胜者树-败者树
胜者树与败者树 胜者树和败者树都是完全二叉树，是树形选择排序的一种变型。每个叶子结点相当于一个选手，每个中间结点相当于一场比赛，每一层相当于一轮比赛。 不同的是，胜者树的中间结点记录的是胜者的标号；而败者树的中间结点记录的败者的标号。 胜者树与败者树可以在log(n)的时间内找到最值。任何一个叶子结点的值改变后，利用中间结点的信息...
2017-12-01 17:33:00
243
转载 排序算法---堆排序
堆是一种特殊的数据结构，首先堆是一个完全二叉树，所有堆满足所有二叉树的特定，对于大顶堆，最大数应用再一位，所有如果向对一个数组排序，可以将堆顶和最后一个元素交换，之后再次调整堆，直到堆元素个数为1，所有堆排序算法很简单：1. 将数组构建成一个堆(生序：大顶堆，降序：小顶堆)2. 交换堆顶和最后一个元素3. 迭代1，2步，直到所有元素排序完成代码实现如下：packa...
2017-12-01 15:36:00
71
转载 堆
堆（英语：heap)是计算机科学中一类特殊的数据结构的统称。堆通常是一个可以被看做一棵树的数组对象。堆总是满足下列性质堆中某个节点的值总是不大于或不小于其父节点的值；堆总是一棵完全二叉树。堆分为两中，大顶堆、小顶堆；大顶堆顾名思义就是堆的每个父元素都大于其孩子，小顶堆当然就是每个父节点都小于其子节点，数学定义如下：大顶堆：arr[k] >= ...
2017-12-01 15:27:00
56
转载 排序算法---希尔排序
在介绍了前面的三种基本算法之后，今天说说另一种稍微高级一点的算法--希尔排序希尔排序是按照其设计折希尔（Donald Shell）的名字命令，它基于插入算法，在插入算法上做了改造，那么插入算法有什么特点呢，我们回想一下：1. 插入排序在已经排好序的序列上效率非常高，时间复杂度O（n），但是在最坏的情况下时间复杂度为O（n2）2. 插入排序在做移动的时候效率是非常低的，因为每次...
2017-11-29 10:45:00
78
转载 简单排序算法
排序是项目中经常使用的算法，下面简单说一下三种简单排序1. 选择排序，选择排序应该是所有排序算法中最直接最简单的排序，经过N-1趟比较好，序列形成有序列表，具体算法是，每一趟找到最大或者最小值，之后交换，依次循环n-1次，所有时间复杂度未O（n2）实现：public static void selectSort(int[] arr) { long sta...
2017-11-24 13:29:00
71
转载 Jave 垃圾回收查看工具--jstat
jstat 1. jstat -gc pid 可以显示gc的信息，查看gc的次数，及时间。 其中最后五项，分别是young gc的次数，young gc的时间，full gc的次数，full gc的时间，gc的总时间。 2.jstat -gccapacity pid 可以...
2017-11-22 17:07:00
75
转载 Linux 查看进程IO状态
方法一：$ iotop -oP命令的含义：只显示有I/O行为的进程测试结果：方法二：$ pidstat -d 1命令的含义：展示I/O统计，每秒更新一次测试结果：注意：以上两个命令都需要内核版本支持kernels 2.6.20 and later only原文出自：http://blog.csdn.net/daiyudong20...
2017-11-22 16:59:00
171
转载 Jave垃圾回收算法
Java语言规范没有明确地说明JVM使用哪种垃圾回收算法，但是任何一种垃圾回收算法一般要做2件基本的事情：（1）发现无用信息对象；（2）回收被无用对象占用的内存空间，使该空间可被程序再次使用。1.引用计数法(Reference Counting Collector)1.1算法分析引用计数是垃圾收集器中的早期策略。在这种方法中，堆中每个对象实例都有一个引用计数。当一个对象被创建...
2017-11-22 16:57:00
68
转载 Java 按代回收垃圾以及回收算法
按代的垃圾回收机制在Java程序中不能显式地分配和注销内存。有些人把相关的对象设置为null或者调用System.gc()来试图显式地清理内存。设置为null至少没什么坏处，但是调用System.gc()会显著地影响系统性能，必须彻底杜绝（还好，我还没有见到NHN的哪个开发者调用这个方法）。在Java中，开发人员无法直接在程序代码中清理内存，而是由垃圾回收器自动寻找不必要的垃圾对...
2017-11-22 16:27:00
177
转载 深入理解Java内存管理
本文引用自：深入理解Java虚拟机的第2章内容 Java与C++之间有一堵由内存动态分配和垃圾收集技术所围成的高墙，墙外面的人想进去，墙里面的人却想出来。 概述： 对于从事C和C++程序开发的开发人员来说，在内存管理领域，他们既是拥有最高权力的皇帝，又是从事最基础工作的劳动人民—既拥有每一个对象的“所有权”，又担负着每一个对象生命开始到终结的维护责任。 ...
2017-11-22 15:44:00
62
转载 Linux Top 命令
linux查看进程使用最多的命令应该是top命令了吧，我们今天主要说明一下，top命令结果中各参数的意义，top命令结果如下：直观上结果分为上下两部分，上部分主要是系统的信息，下部分是系统进程信息，下面详细说明一下：第一行代表了系统运行时间，分别表示：系统时间，系统运行到现在的时间，当前登陆系统的用户数、系统平均负载的三个值，分别是5分钟、10分钟、15分钟。t...
2017-11-22 11:32:00
97
转载 Hbase 出现 org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet 错误...
ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet at org.apache.hadoop.hbase.master.HMaster.checkServiceStarted(HMaster.java:2372) at org.apac...
2017-11-21 18:59:00
624
转载 SBT Cannot resolve dependencies
Add addSbtPlugin("com.typesafe.sbt" % "sbt-less" % "1.0.0") to plugins.sbt. Run sbt. Dependencies for jse and npm can't be resolved:[warn] ::::::::::::::::::::::::::::::::::::::::::::::[w...
2017-11-21 10:18:00
174
转载 SBT 添加国内镜像
在`~/.sbt/`下添加一个`repositories`文件，里面内容如下：[repositories]localosc: http://maven.oschina.net/content/groups/public/typesafe: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[...
2017-11-21 09:54:00
716
转载 Java 多线程实现（一）
多线程的目的提到多线程就只有一个目录，更好的利用CPU资源，我们让CPU同时处理多个任务，缩短计算和处理时间。在实现多线程之前，首先了解一个下多线程的一些概念：多线程：在一个进程中，运行不止一个线程并行：多个CPU 实例或者多台计算机同时运行一段处理逻辑，该中情况是真正的在时间上同时值行哦并发：通过CPU的调度算法，让用户看上去好像是在并行，但是实际上CPU并不是真正...
2017-11-17 11:23:00
84
转载 Supervisor重新加载配置
1 .更新新的配置到supervisordsupervisorctl update 2.重新启动配置中的所有程序supervisorctl reload 3.启动某个进程(program_name=你配置中写的程序名称)supervisorctl start program_name 4.停止某一进程 ...
2017-11-02 18:38:00
190
转载 R安装时的问题
R在安装 rJava包是可能安装不成功问题1：checking Java support in R... present:interpreter : '/usr/lib/jvm/jre/bin/java'archiver : '/usr/lib/jvm/jre/../bin/jar'compiler : '/usr/lib/jvm/jre/../...
2017-11-02 18:34:00
127
转载 Pregel与图迭代
graphx是如何实现Pregel迭代操作，我们应该如何使用该模型。先看下pregel接口源码：接口中各参数的含义已在图中进行注释，所以此处不再赘述。简单介绍下源码中的参数说明：剖析pregel模型提供了消息收集方向、迭代次数、初始化消息、顶点函数、发送消息函数和合并消息函数；用户可根据自己的需求进行修改，因此具有很强的灵活性和可控性。最后说明：如果想要熟练使用gr...
2017-07-26 18:35:00
363
转载 Scala Read PDF to Text
http://alvinalexander.com/scala/convert-pdf-to-plain-text-application-scala-shell-script转载于:https://www.cnblogs.com/yunfeiqi/p/7053728.html
2017-06-20 13:00:00
136
转载 Akka Stop Kill PoisonPill 区别
BothstopandPoisonPillwill terminate the actor and stop the message queue. They will cause the actor to cease processing messages, send a stop call to all its children, wait for them to termin...
2017-06-20 09:50:00
400
转载 SBT 打包本地文件
Publish: http://www.scala-sbt.org/0.13/docs/Publishing.htmlREF：http://www.scala-sbt.org/0.13/docs/Library-Dependencies.htmlresove:http://stackoverflow.com/questions/24442240/how-to-re...
2017-05-21 19:02:00
253
转载 Apply a Function over a List or Vector
lapply {base}R DocumentationApply a Function over a List or VectorDescriptionlapplyreturns a list of the same length asX, each element of which is the result of applyingFUN...
2017-05-17 11:02:00
88
转载 R 中正则
在R中使用正则,可以指定perl=True 构造复杂正则,这也是本人比较熟悉在方式> word <- c('a1:23asdfjaskldjf<->aa:112xzvasoiffncx909<->bb:23asdfjaskldjfAAA')> pattern<- 'bb.*(?=(<->|$))'> ...
2017-05-16 10:00:00
48
转载 RStudio快捷键
控制台功能Windows & LinuxMac移动鼠标到控制台Ctrl+2Ctrl+2控制台清屏Ctrl+LCommand+L移动鼠标至第一行HomeCommand+Left移动鼠标至最后一行EndCommand+Right历史记录翻滚Up/DownUp/D...
2017-05-15 11:07:00
88
转载 R语言中"NA"与"NULL"的区别
在R语言中，缺失值用NA表示，空值用NULL表示。初学者在学习R语言时，一般都会被这两者弄糊涂，常常错误地把这两者视为等价的。下面，通过代码演示来说明它们的不同：首先看NA ：x<-vector(length=3); x[1] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSEx<-c...
2017-05-15 11:05:00
2067
转载 R httr 文档
httr quickstart guideThe goal of this document is to get you up and running with httr as quickly as possible. httr is designed to map closely to the underlying http protocol. I'll try and expla...
2017-05-12 16:53:00
1035
转载 使用 Setup 将Python 代码 打包
完成源码后将代码打成安装包:1. 我的源代码结构如下:pack|---src | - common ---http ---user | - lib | - factory.py2. 实现setup.py#!/usr/bin/env python3# -*- coding: utf-8 -*-from distu...
2017-05-12 11:34:00
42
转载 Python 单例
方法一 实现__new__方法，然后将类的一个实例绑定到类变量_instance上；如果cls._instance为None，则说明该类还没有被实例化过，new一个该类的实例，并返回；如果cls._instance不为None，直接返回_instance，代码如下class Singleton(object): def __new__(cls, *args, ...
2017-05-11 12:12:00
42
转载 Python 定义抽象类
from abc import ABCMeta, abstractmethodclass DataSet(object): __metaclass__ = ABCMeta def __init__(self): print("Abstract DataSet") @abstractmethod def re...
2017-05-11 12:09:00
316
转载 Python模块学习——optparse
Python 有两个内建的模块用于处理命令行参数：一个是 getopt，《Deep in python》一书中也有提到，只能简单处理 命令行参数；另一个是 optparse，它功能强大，而且易于使用，可以方便地生成标准的、符合Unix/Posix 规范的命令行说明。示例下面是一个使用 optparse 的简单示例：fromoptparseimpor...
2017-05-10 17:34:00
57
转载 如何制作自己的R包？
如何制作自己的R包？摘自 方匡南 等编著《R数据分析-方法与案例详解》.电子工业出版社R包简介R包提供了一个加载所需代码、数据和文件的集合。R软件自身就包含大约30种不同功能的包，这些基本包提供了R软件的基本功能。与此同时，R作为一个开源软件，它提供了各种统计计算函数，从而方便使用者能够灵活机动的进行数据分析，甚至创造出符合特定需要的新统计计算方法，而这些函数大多是以包的形式提供，这...
2017-05-10 12:53:00
566
转载 Scala编码规范
Scala编码规范时间2015-01-30 16:38:00逸思原文http://zhangyi.farbox.com/post/scala-coding-standard主题Scala这是我去年在一个Scala项目中结合一些参考资料和项目实践整理的一份编码规范，基于的Scala版本为2.10，但同时也适用于2.11版本。参考资料见文后。整...
2017-05-03 11:26:00
235
转载 Akka Terminated
package aia.faulttoleranceimport akka.actor._import akka.actor.Terminatedobject DbStrategy2 { class DbWatcher(dbWriter: ActorRef) extends Actor with ActorLogging { context.w...
2017-05-02 17:00:00
245
转载 Scala + Play get resource Path
// runnermap is the file name in resourcesgetClass.getClassLoader.getResource("runnermap").getPath转载于:https://www.cnblogs.com/yunfeiqi/p/6795844.html
2017-05-02 14:03:00
87
转载 R 安装本地包
在代码中直接使用 R中使用： install.packages(“libs/xxxx.tgz”,repo=NULL,type=”source”) 或者在直接使用R CMD INSTALL 包路径R 打包命令R CMD check xxxx.tar.gzR CMD build xxxx.tar.gz转载于:https://www.cnblogs.com/yunfeiqi/p/6770...
2017-04-26 19:56:00
1160
转载 LInux 打包
tar 打包目录时排除其中某一子目录的方法tar cfz ff-bb.cn.tar.gz /var/www/ff-bb.cn/ --exclude=var/www/ff-bb.cn/download注意 --exclude后面的排除目录后不能带/ ，否则不起作用。转载于:https://www.cnblogs.com/yunfeiqi/p/6709007.html...
2017-04-14 15:11:00
62
转载 Linux 好用Termitor 终端配置
Terminator 介绍Ubuntu 中默认使用的 shell 终端工具是 gnome-terminal，虽然它已经很好用了，但有时还是无法满足我们程序员各种各样的需求，例如在同一个窗口中启动多个终端！但是！Terminator 就可以完美地实现了在 Ubuntu在同一窗口中启动多个终端，并且可以自由的在一个窗口中分割区域建立新终端，还可以通过鼠标拉伸调整每个终端的大小。效...
2017-04-13 14:05:00
355
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人