- 博客(59)
- 收藏
- 关注
RSS订阅转载 Superset安装
Superset version 1.8.5# Install supersetpip install cairocffipip install supersetyum install gcc-c++ python-devel.x86_64 cyrus-sasl-devel.x86_64修改superset/config...
2017-08-02 15:00:00
137
转载 Presto资源组配置
{ "rootGroups": [ { "name": "global", "softMemoryLimit": "80%", "maxRunning": 100, "maxQueued": 1000, "schedulingPolicy": "weighted", "jmxEx...
2017-02-12 22:46:00
556
转载 HBase性能测试
HBasePerformanceEvaluation：Options: nomapred Run multiple clients using threads (rather than use mapreduce) rows Rows each client runs. Default: One million ...
2017-01-22 14:32:00
179
转载 Storm配置说明
配置项配置说明storm.zookeeper.serversZooKeeper服务器列表storm.zookeeper.portZooKeeper连接端口storm.local.dirstorm使用的本地文件系统目录(必须存在并且storm进程可读写)storm.cluster.modeStorm集群运...
2016-09-22 10:48:00
106
转载 Hadoop Yarn Capacity Scheduler
Capacity 调度器配置<property> <name>yarn.resourcemanager.scheduler.class<name> <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityS...
2016-07-17 17:44:00
85
转载 Scala操作MongoDB
Scala操作MongoDB// Maven<dependencies> <dependency> <groupId>org.mongodb</groupId> <artifactId>casbah</artifactId> <version&g...
2016-06-25 11:20:00
134
转载 Sqoop 1.99.6 安装和使用
安装1.安装准备工作： 下载的sqoop安装包http://mirrors.hust.edu.cn/apache/sqoop/1.99.6/sqoop-1.99.6.tar.gz2.解压文件到工作目录: hadoop@hadoopMaster:$ sudo tar -xvf /opt/hn/hadoop_family/sqoop-1.99....
2016-06-24 11:50:00
131
转载 ZkClient
ZkClient创建一个ZkClient实例ZkClient zkClient = new ZkClient("127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002");读取数据byte[] readData(String path);byte[] readData(String path, boole...
2016-05-01 20:09:00
96
转载 Kafka Zookeeper 基本命令示例
Kafka新建Topicbin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-topic查看已存在Topic列表bin/kafka-topics.sh --list --zookeeper...
2016-04-27 11:18:00
155
转载 Scala开发Hadoop示例
import org.apache.hadoop.conf.{Configuration, Configured};import org.apache.hadoop.util.{ToolRunner, Tool};import org.apache.hadoop.fs.Path;import org.apache.hadoop.mapreduce.lib.output.F...
2016-04-25 14:47:00
156
转载 Kafka源码分析
本文主要针对于Kafka的源码进行分析，版本为kafka-0.8.2.1。 由于时间有限，可能更新比较慢...Kafka.scala// 读取配置文件val props = Utils.loadProps(args(0))val serverConfig = new KafkaConfig(props)KafkaMetricsReporte...
2016-04-14 16:17:00
83
转载 Kafka配置说明
Broker ConfigsPropertyDefaultDescriptionbroker.id每个broker都可以用一个唯一的非负整数id进行标识；这个id可以作为broker的“名字”，并且它的存在使得broker无须混淆consumers就可以迁移到不同的host/port上。你可以选择任意你喜欢的数字作为id，...
2016-04-14 15:53:00
173
转载 Google的Python代码格式化工具YAPF详解
原文地址：http://geek.csdn.net/news/detail/29735介绍目前用于Python的格式化程序（如autopep8和pep8ify）都用于删除代码中的lint错误。这有很明显的局限性。YAPF采用了不同的方法，基于Daniel Jasper开发的“'clang-format”。从本质上来说，该算法取走代码并重新排版，以符合样式指南...
2015-04-07 10:51:00
326
转载 性能监控工具YourKit
1.下载YourKit(在不同系统或终端下请保持版本一致)http://www.yourkit.com/java/profiler/index.jsp 2.解压Linux的YourKittarxfj <archive name>.tar.bz23.增加-agentpath:<fullagent library path...
2014-10-24 15:39:00
122
转载 Scala学习笔记2
123456789101112131415161718192021222324252627282930313233343536373839404142434445464748...
2014-09-22 10:18:00
105
转载 Scala介绍
强大的编程语言Scala 是一门非常强大的语言，它允许用户使用命令和函数范式进行编写代码，因此，编程时你可以使用常用的命令式语句，就像我们使用 C、Java、PHP 以及很多其他语言一样，而且，你也可以使用类似 Lisp 语言中函数式语句，还有，你可以混合使用这两种风格的语句，就像 Ruby 或 Groovy。 Scala 几乎支持函数语言中所有已知的功能，比如，模式匹配（Pa...
2014-09-22 10:16:00
106
转载 线段树
object IntervalTree1 extends App{ val score = Array(1, 2, 3, 4, 5) val commands = Array( "Q 1 5", "U 3 6", "Q 3 4", "Q 4 5", "U 2 9", "Q 1 5" ) ...
2014-09-18 16:46:00
67
转载 字符串分割方法
public static String[] split(String str, String limit) { List<String> result = new ArrayList<String>(); char[] chars = limit.toCharArray(); ...
2014-06-16 16:38:00
77
转载 Trie树
import scala.collection.mutable.{ArrayBuffer, Map}class TrieTree{ private var root: TrieNode = new TrieNode() def insert(word: String) { var (text, node) = (...
2014-05-07 10:57:00
108
转载 Scala 学习笔记
// 代码区块控制val Exit = new BreaksExit.breakable { for (j <- 'a' to 'e') { if (j == 'c') Exit.break else println(s"j: $j") }}// 尾递归标记 @tailrecimport scala.annotatio...
2014-02-18 10:33:00
64
转载 Spark，一种快速数据分析替代方案
原文出处：http://www.ibm.com/developerworks/library/os-spark/Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。Spar...
2013-08-07 10:40:00
111
转载 PHP 自定义参数传递
所有的PHP发行版，不论是编译自源代码的版本还是预创建的版本，都在默认情况下带有一个PHP可执行文件。这个可执行文件可以被用来运行命令行的PHP程序。要在你的系统上找到这个可执行文件，就要遵照下面的步骤： Windows：放在PHP主安装目录下，文件名是php.exe或者（在老版本的PHP里）是php-cli.exe。 Linux：保存在PHP安装目录的bi...
2013-05-05 20:40:00
160
转载 面向对象分析与设计
类和对象对象的本质一个可以触摸或可以看见的东西在智力上可以理解的东西可以知道思考或行动的东西对象是一个具有状态，行为，和标识符的实体结构和行为类似的对象定义在他们共同的类中，实力和对象这两个属于可以互换使用状态对象的状态包括这个对象的所有属性（静态）以及每个属性当前的值（动态）属性是一种内在或独特的特征、特点、品质或特性，是一个对象区别于别的对象。对象是有存在是间的，...
2013-02-11 22:15:00
62
转载 从SecondaryNameNode恢复Namenode
hadoop集群管理之 Namenode恢复1.修改conf/core-site.xml,增加<property> <name>fs.checkpoint.period</name> <value>3600</value> <description>表示多长时间记录一次hdfs的镜...
2013-01-24 16:59:00
106
转载 面向对象5个基本设计原则
面向对象的5个基本设计原则面向对象的5个基本设计原则：单一职责原则（Single-Resposibility Principle）其核心思想为：一个类，最好只做一件事，只有一个引起它的变化。单一职责原则可以看做是低耦合、高内聚在面向对象原则上的引申，将职责定义为引起变化的原因，以提高内聚性来减少引起变化的原因。职责过多，可能引起它变化的原因就越多，这将导致职责依赖，...
2013-01-03 13:58:00
206
转载 Hive函数参考手册
1.内置运算符1.1关系运算符运算符类型说明A = B所有原始类型如果A与B相等,返回TRUE,否则返回FALSEA == B无失败，因为无效的语法。 SQL使用”=”，不使用”==”。A <> B所有原始类型如果A不等于B返回TRUE,否则返回FALSE。如果A或B值为”N...
2012-12-27 11:19:00
82
转载 Hive 简明指南
Hive 简明指南原文http://www.cnblogs.com/end/archive/2012/06/18/2553683.html1. 基本数据类型tinyint , smallint, int, bigint, float, double, boolean: true/false, string2. 基础运算符与函数A IS NULL ...
2012-12-27 10:58:00
58
转载 设计模式
\工厂方法意图定义一个用于创建对象的接口，让子类决定实例化哪一个类。Factory Method使一个类的实力化延迟到其子类。别名虚构造器适用性当一个类不知道他所必须创建的对象的类的时候当一个类希望由他的子类来指定他所创建的对象的时候当类将创建对象的职责委托给多个帮助子类中的一个，并且希望将哪一个帮助子类时代理者这一信息局部化的时候。参与者Product定义工厂...
2012-12-16 21:16:00
107
转载 B-树
package org.riley.tree;import java.util.Random;/** * 保存int的集合 集合中的元素存放在B-树中 * * @author dou * */public class IntBalancedSet implements Cloneable { private static fi...
2012-12-09 16:03:00
65
转载 hadoop-lzo安装出错的解决方法
check-native-uptodate:compile-native: [javah] Error: Class org.apache.hadoop.conf.Configuration could not be found.BUILD FAILED/home/hadoop/src/kevinweil-hadoop-lzo-6bb1b7f/build...
2012-12-04 16:55:00
284
转载 数据库系统
索引结构一个数据文件可以用来存储一个关系。一个数据文件可能拥有一个或多个索引文件，每个索引文件建立查找键和数据记录之间的关联，查找键的指针指向于查找键相同属相值得记录。索引可以是稠密的，以数据文件中每个记录在索引文件中都设有一个索引项。也可以是稀疏的，即数据文件中只有一些记录在索引文件中表示出来，通常为每个数据块在索引文件中设一个索引项。索引还可以是主索引或者辅...
2012-12-02 11:32:00
76
转载 使用MRUnit和TestNG进行单元测试
MRUnit MRUnit是一款由Couldera公司开发的专门针对Hadoop中编写MapReduce单元测试的框架。定义Map逻辑import java.io.IOException;import org.apache.hadoop.io.*;import org.apache.hadoop.mapreduce.Mapper;pu...
2012-11-30 10:20:00
105
转载 Maven
Maven<?xml version=”1.0” encoding=”utf-8” ?><project xmlns=http://maven.apache.org/POM/4.0.0xmlns:xsi="http://www .w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://...
2012-11-18 22:11:00
69
转载 Python解决乱码问题
python在安装时，默认的编码是ascii，当程序中出现非ascii编码时，python的处理常常会报这样的错UnicodeDecodeError: 'ascii' codec can't decode byte 0x?? in position 1: ordinal not in range(128)，python没办法处理非ascii编码的，此时需要自己设置将python的默认编码...
2012-11-09 16:55:00
505
转载 TestNG
TestNG annotaion:@DataProvider@ExpectedExceptions@Factory@Test@Parameters<suite name="ParametersTest"> <test name="Regression1"> <classes> ...
2012-11-09 16:09:00
609
转载 Effective Java 读书笔记
对于所有对象都同用的方法1 考虑用静态工厂方法替代构造器类可以提供一个公有的静态工厂方法，他只是一个返回类的实例的静态方法。实例受控类public static Boolean valueOf(boolean b){ return b ? Boolean.TRUE : Boolean.FALSE;}编写实例受控类有几个原因。实例受...
2012-10-24 17:58:00
226
转载 多线程死锁
死锁原因系统资源不足线程运行顺序不合适资源分配不当必要条件互斥条件：一个资源只能被一个线程使用请求和保持条件：一个线程因请求资源而阻塞时，对已获的资源保释不放不剥夺条件：线程已获得的资源，在未使用完之前不能强行剥夺循环等待条件：若干线程之间形成一种首尾相接的循环等待资源关系预防死锁资源一次性分配：(破坏请...
2012-10-24 11:51:00
79
转载 Log4J 配置
Log4J的配置文件(Configuration File)就是用来设置记录器的级别、存放器和布局的，它可接key=value格式的设置或xml格式的设置信息。通过配置，可以创建出Log4J的运行环境1. 配置文件Log4J配置文件的基本格式如下： #配置根Loggerlog4j.rootLogger = [ level ] , appenderName1 , appen...
2012-09-27 18:14:00
65
转载 K近邻算法
public class KnnTest { public static void readFileToList(String path, List<List<Double>> list) { BufferedReader br = null; try { ...
2012-09-18 09:59:00
52
转载 整数序列化
org.apache.hadoop.io.WritableUtils 1 public static void writeVLong(DataOutput stream, long i) throws IOException 2 { 3 // 直接写数据 4 if (i >= -112 &&...
2012-08-16 16:12:00
165
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人