2017年12月_hjw199089

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

翻译 HADOOP - QUICK GUIDE-[2]-HDFS OVERVIEW

HADOOP - QUICK GUIDE-[2]-HDFS OVERVIEW 原文 https://www.tutorialspoint.com/hadoop/hadoop_quick_guide.htmHDFS OVERVIEWFeatures of HDFS适合分布式存储和处理Hadoop提供和HDFS交互的命令接口内嵌的namenode和datano...

2017-12-31 20:30:39 322

原创 markdown-图文教程

推荐很好的markdown编辑学习教程点击访问待有时间再好好整理翻译一遍

2017-12-29 23:21:32 187

翻译 HADOOP-[1]-QUICK GUIDE-Architecture and installation

HADOOP - QUICK GUIDE-[1]-Architecture and installation 原文 https://www.tutorialspoint.com/hadoop/hadoop_quick_guide.htmHadoop ArchitectureHadoop has two major layers namely:Processing/Computation

2017-12-29 20:14:27 249

原创 [15]-源码阅读-1

Presto-[15]-源码阅读-1presto-cli包Presto类是presto-cli/target/presto-cli-*-executable.jar或者CLI客户端的主入口代码public final class Presto{ private Presto() {} public static void main(String[] args)

2017-12-29 19:11:05 322

原创 Guava-Google Core Libraries for Java

Guava: Google Core Libraries for JavaGuava 是一个核心库集合，包含一些新的collection types (such as multimap and multiset), immutable collections, a graph library, functional types, an in-memory cache, and APIs

2017-12-29 18:53:26 727

原创程序员技术入门免费教程网站-Tutorialspoint

Free Online Tutorials & Courses https://www.tutorialspoint.com/index.htm

2017-12-29 14:21:53 3636

原创 Mac单机Hadoop安装备忘

参照以下安装单机hadoop http://blog.csdn.net/coffeeandice/article/details/78879151http://blog.csdn.net/uq_jin/article/details/51451995http://www.aboutyun.com/thread-12798-1-1.htmlbin/hadoop

2017-12-28 23:24:00 1044 1

原创 Calcite-[5]-example-csv简析-CsvScannableTable

一源码下载参照下文，下载编译源码Calcite-[1]-Tutorial运行CsvTest 总体感知csv样例工程二、简析1-model.jsonmodel.json{ "version": "1.0", "defaultSchema": "SALES", "schemas": [ { "name": "SALES", "t

2017-12-25 21:11:17 1471 1

翻译 [14]-Function

Functions原文https://prestodb.io/docs/current/develop/functions.html Plugin Implementation为实现新的function，必须写一个plugin，返回从getFunctions()返回更多的函数:public class ExampleFunctionsPlugin impl...

2017-12-24 15:29:27 602

翻译 [12]-Syntax-EXPLAIN

原文https://prestodb.io/docs/current/sql/explain.html学习EXPLAIN，可用于执行cost评估和合法性检测 SynopsisEXPLAIN [ ( option [, ...] ) ] statementwhere option can be one of: FORMAT { TEXT | GRAPHVIZ }...

2017-12-22 21:17:58 374

翻译 [11]-Administration-Resource Groups

原文https://prestodb.io/docs/current/admin/resource-groups.htmlResource groups默认不生效，需要设置experimental.resource-groups-enabled=true 以组（可嵌套）的形式管理查询，组织排队情况manager来配置resource groups和相关的角色选择，并且这是plugg...

2017-12-21 21:45:12 658

翻译 [10]-Administration-Spill to Disk

原文https://prestodb.io/docs/current/admin/queue.htmlOverview 对于内存敏感型的operations，Presto允许将中间结果卸载到磁盘。这样保障内存消耗大的查询可以正常执行，一些特性配置见： Spilling Properties.Memory Management and Spill默认Presto会kill掉超...

2017-12-21 21:43:34 743

翻译 [9]-Administration-Tuning Presto & Properties Reference

原文https://prestodb.io/docs/current/admin/tuning.htmlTuning Presto默认的配置在大多数工作负载下均可正常执行，如果遇到一些特殊集群性能问题吗，下面的信息将有所帮助Config PropertiesSee Properties Reference. JVM Settings下面内容将有助于帮助诊断GC...

2017-12-21 21:38:02 1153

翻译 [8]-Presto Administration-web interface

原文4. Administration4.1. Web Interface提供 web interface 用于监控和管理queries， web interface位于coordinator，通过HTTP访问。HTTP port number 在coordinator Config Properties.主页中列举queries信息，如query ID, query text, q...

2017-12-21 00:36:07 319

原创 [7]-Presto Security

原文：https://prestodb.io/docs/current/security.html

2017-12-20 23:09:24 393

原创 [6]-JDBC Driver 简介与Demo测试

官方文档 2.3. JDBC Driver1-JDBC jar 或maven Presto支持JDBC driver访问，下载 presto-jdbc-0.191.jar，添加到应用程序的 class path 中，同时也可以通过Maven中心仓库连接：<dependency> <groupId>com.facebook.presto</...

2017-12-20 23:06:04 2732

原创 [5]Running in IDEA

准备已经成功安装单机presto（没有安装也可以），配置过hive.catalog文件参考：Presto-[4]-单机配置查询Hivegit clone master分支gihub：https://github.com/prestodb/presto1-Building Presto在根目录执行，会下载依赖至 (~/.m2/repository)，这会一并执行测试部分，时间...

2017-12-20 21:07:07 1275 5

原创 [4]-单机配置查询Hive

一、已安装hive、myql、初步安装配置Presto具体参考： Presto-[3]-单机安装_配置查询Mysql Mac安装Mysql_解决中文乱码_JDBC访问操作 Mac-单机Hive安装与测试 Hive常见问题汇总二、修改配置文件（1）config.properties datasources=mysql,hive（2）添加配置文件 etc/catalog...

2017-12-20 00:52:20 534

原创 Mac-单机Hive安装与测试

hive文档：hive 说明wiki参考：http://blog.csdn.net/isoleo/article/details/78401103https://www.cnblogs.com/kinginme/p/7233315.html前提本机已经安装单机hadoop和mysqlmysql安装：Mac安装Mysql_解决中文乱码_JDBC访问操作hadoop安装：hadoop单...

2017-12-19 23:52:41 4032

原创 [3]-单机安装_配置查询Mysql

1-Installing Presto现在压缩包presto-server-0.191.tar.gz,Presto需要一个文件夹存日志logs，etc，建议在安装问价外部新建一个文件夹，便于升级文件目录如下：~/Documents/software/Presto$ lsCLI data presto-server-0.191CLI中下载 presto-cli-0....

2017-12-19 13:57:16 1278

翻译 [2]-Installation-Deploying Presto and Command Line Interface

Installing Presto现在压缩包presto-server-0.191.tar.gz,Presto需要一个文件夹存日志logs，etc，建议在安装问价外部新建一个文件夹，便于升级 Configuring Presto在安装文件夹下建立一个etc文件夹，存如下配置文件：Node Properties: 每个node的环境配置 JVM Config: comman...

2017-12-17 22:46:48 350

翻译 [1]-Concepts

原文：https://prestodb.io/docs/current/overview/concepts.html其他参考：https://www.cnblogs.com/sorco/p/7060166.html Server Types两种类型：coordinators、 workers.Coordinator主要负责：parsing statements, pla...

2017-12-17 21:36:10 418

原创 Apache Avro-[2]-Rpc-Http和Netty两种方式

Apache Avro-[2]-Rpc-Http和Netty两种方式

2017-12-17 17:06:51 1260

转载 Windowing Functions In Hive

感谢分享原文：https://acadgild.com/blog/windowing-functions-in-hive/ Windowing allows you to create a window on a set of data further allowing aggregation surrounding that data. Windowing in Hive is i

2017-12-14 16:42:20 375

入门RPCAvro官网：http://avro.apache.org/https://wiki.apache.org/hadoop/Avro/https://github.com/phunt/avro-rpc-quickstartjar下载地址：http://mirror.bit.edu.cn/apache/avro/avro-1.7.7/java/官方实例：http://avro.apache....

2017-12-14 13:59:42 330

翻译 Calcite-[4]-JSON Model

原文：https://calcite.apache.org/docs/model.html

2017-12-10 20:53:48 1081

翻译 Calcite-[3]-Adapters

原文：http://calcite.apache.org/docs/adapter.htmlSchema adaptersPermalinkA schema adapter allows Calcite to read particular kind of data, presenting the data as tables within a schema.

2017-12-10 16:06:54 1846

翻译 Calcite-[2]-Algebra

每一个查询都是关系操作的组成的一棵树，由SQL到关系代数，或者可以直接构建一个树，Calcite不断的用planner rules来优化查询，构建最优树，同时 planning process是可扩展的，可添加自定义的relational operators, planner rules, cost model, and statistics。Algebra builder构建关系

2017-12-10 15:37:12 548

翻译 Calcite-[1]-Tutorial

原文http://calcite.apache.org/docs/Apache Calcite 动态数据管理框架、典型的数据库管理系统（不包含数据存储、处理数据的复杂算法、存储数据的仓库）意在承担存储、处理数据的任务是应用和多种数据存储落地、数据处理引擎间的优秀中间媒介conceptsuser-defined schema using SchemaF

2017-12-10 15:35:54 1038

原创 Apache Ignite

待学习The high-performance in-memory computing with Apache Ignite book got publishedhttps://dzone.com/articles/increasing-spark-job-performances-with-apache-igni

2017-12-08 10:49:47 483

原创 Java多线程学习

《Java Threads and the Concurrency Utilities》这本书直接浅显易懂，值得初学者快速学习源代码：pdf：

2017-12-07 09:43:35 147

转载 TiDB

转载自：TiDB：世界级开源 NewSQL 分布式关系型数据库数据库技术发展演进在 08 年以前基本上是以单机型数据库为主，比如大家耳熟能详的 Oracle，MySQL，遇到的比如大数据存储、高并发等问题。于是，以 Google 为代表的一些互联网公司开始转向 NoSQL 这种分布式的数据库，这是一个牺牲掉关系的模型去追求可扩展性的方向，那我们有没有办法把单机型的 SQL

2017-12-05 13:56:01 2058