dominic_tiger-CSDN博客

原创 CentOS7下搭建MQTT（Mosquitto）

背景：在CentOS7下搭建Mosquitto Server，Mosquitto Clients用于测试发布、订阅1、下载repo文件至 /etc/yum.repos.d/下wget http://download.opensuse.org/repositories/home:/oojah:/mqtt/CentOS_CentOS-7/home:oojah:mqtt.repo2、安装Mosquitto

2017-08-08 18:43:08 2829

原创 Linux下升级JDK

背景：Centos将JDK从1.7升级到1.8sudo yum install java-1.8.0 sudo yum remove java-1.7.0-openjdk

2017-06-13 10:06:33 683

原创如何在kylo中添加数据源

背景：如何在数据湖平台kylo中，添加数据源（如下图，支持从phoenix数据源获取数据）步骤1、配置Controller Service，如下图 -点击配置按钮进行配置

2017-06-02 09:44:35 3734 1

翻译通过公网IP访问云上的Hadoop集群

背景：从公司内部网络中的Hadoop集群访问部署在亚马逊云的Hadoop集群1. IP、域名设置1.1 给云上每个实例设置一个内网IP（如上图10.0.0.5）1.2 给云上每个实例绑定一个Elastic IP（弹性IP，如上图X.X.X.1），并且与内网IP一一对应1.3 给云上每个实例配置一个域名（如上图A001），并且与内网IP一一对应1.4 给公司内部网络每台机器（实例）配置一个域名

2017-05-12 21:32:20 6428

原创 Hadoop集群间HBase数据迁移

背景：HBase Cluster1 -> HBase Cluster2

2017-05-04 13:58:55 1424

原创 HBase数据迁移至Hive

HBase数据迁移至Hive背景：需要将HBase中表xyz（列簇cf1，列val）迁移至Hive1. 建立Hive和HBase的映射关系1.1 运行hive shell进入hive命令行模式，运行如下脚本CREATE EXTERNAL TABLE hbase_table_1(key int, value string) STORED BY 'org.apache.hadoop.hive.hbas

2017-04-19 10:24:33 7376 1

原创 SQLContext自定义函数注册

本文简单介绍两种往SQLContext中注册自定义函数方法背景：员工表emp，只有name和age两个字段。现在假设员工退休的法定年龄均为60岁，需要计算每个员工剩余工作年限。 val df = sc.parallelize(Seq(("张三", 25), ("李四", 30),("赵六", 27))).toDF("name", "age") df.registerTempTable

2017-03-31 07:26:16 625

原创什么是Hadoop?

定义：一款以HDFS（Hadoop Distributed File System）作为其分布式存储、以MapReduce编程模型作为其处理核心的应对海量数据的开源软件框架。它运行在由普通商用机构建而成的硬件集群之上。简单流程：Hadoop将数据存储文件分割成大的数据块，并将其分发至集群环境中所有的节点。然后再将打包好的应用处理代码分发到集群节点上，对数据进行并行处理。Hadoop基础模块 -

2017-03-21 07:30:20 396

原创阻塞、非阻塞

阻塞/非阻塞讨论的前的是针对I/O的操作，当发起一个I/O操作调用请求时，调用一定要等到I/O读、写操作完全完成才返回那么我们可以说这个I/O操作是阻塞的；反之，如果调用立即返回，但是I/O读、写操作结果需要通过后续通知获取，那么我们就说这个I/O操作是非阻塞的。如下图：(a)阻塞，(b)非阻塞阻塞、非阻塞一般是系统提供的底层API实现方式，业务代码很少涉及需要自己实现，因为这个是

2017-03-19 11:14:14 325

原创同步(Synchronous)/异步(Asynchronous)

http://stackoverflow.com/questions/16336367/what-is-the-difference-between-synchronous-and-asynchronhttps://www.quora.com/What-is-the-difference-between-synchronous-vs-asynchronous-and-blocking-vs-non-blocking

2017-03-19 09:47:50 462

dominic_tiger的博客