2017年11月_豆豆1223

转载用java写websocket客户端

最近用websocket写一个通讯的系统，服务器用tocmat，客户端使用android，为了在android端用java进行websocket通讯在网上找个很久的资料，搜客户端出来的很多都是js实现的客户端，最合适的就是一个叫java-websocket的开源项目，用起来很简单，在这分享一下自己的一些收获步骤在项目中导入jar包或在maven项目的pom文件中添加依赖。j

2017-11-30 09:20:07 2445

转载 flume源码分析

1、LifecycleAware public interface LifecycleAware { public void start(); public void stop(); public LifecycleState getLifecycleState(); } 所有核心组件，全都实现这个接口。通过start，stop启动关闭，通过LifecycleSta

2017-11-30 09:07:08 624

转载 SparkSQL中DataFrame常用API

[html] view plain copypre code_snippet_id="2337139" snippet_file_name="blog_20170417_1_1032614" name="code" class="java">package com.fosun.sparkdemo; import org.apache.spark.Spa

2017-11-27 17:31:35 556

转载假如时光倒流，我会这么学习Java

回头看看，我进入Java 领域已经快15个年头了，虽然学的也一般，但是分享下我的心得，估计也能帮大家少走点弯路。入门我在2001年之前是C/C++阵营，有C和面向对象的基础，后来转到Java ，发现没有指针的Java真是好简单，另外Java 的类库好用的让人哭啊。后来我就看《Thinking in Java》 ,《 Java 核心技术》，感觉也不吃力。

2017-11-27 14:41:22 162

转载 Linux下彻底卸载mysql详解

一、使用以下命令查看当前安装mysql情况，查找以前是否装有mysql1rpm -qa|grep-i mysql可以看到如下图的所示：显示之前安装了： MySQL-client-5.5.25a-1.rhel5 MySQL-server-

2017-11-24 17:18:27 286

转载 Linux下yum安装MySQL yum安装MySQL指定版本

yum 安装MySQL1. 检查安装情况查看有没有安装过： yum list installed MySQL* （有存在要卸载yum remove MySQL*） rpm -qa | grep mysql* 查看有没有安装包： yum li

2017-11-24 00:21:06 1708

转载 kylin从入门到实战：具体案例

前面两篇文章已经介绍了kylin的相关概念以及cube的一些原理，这篇文章将从一个实际的案例入手，介绍如何在kylin平台上创建一个多维分析项目。1.创建project进入kylin操作界面，如果没有project可以创建，kylin里面可以创建多个project，有效的把各种业务数据分析隔离开来。如图：如下，填写project name，description可以不填

2017-11-16 22:34:34 494

转载 kylin入门到实战：cube详述

1.什么是cube？cube是所有dimession的组合，每一种dimession的组合称之为cuboid。某一有n个dimession的cube会有2^n^个cuboid，如图：对应一张hive表，有time,item,location,supplier这四个维度，则0-D cuboid时对应的查询语句为 select sum(money) from table;1-D cub

2017-11-16 22:32:47 579

转载 kylin入门到实战：入门

1.概述kylin是一款开源的分布式数据分析工具，基于hadoop之上的sql查询接口，能支持超大规模的数据分析。响应时间在亚秒级别，其核心是预计算，计算结果存放在hbase中。2.特性可扩展超快OLAP引擎:Kylin是为减少在Hadoop上百亿规模数据查询延迟而设计Hadoop ANSI SQL 接口:Kylin为Hadoop提供标准SQL支持大部分查询功能交互

2017-11-16 22:29:44 397

转载 Flume 入门--几种不同的Sources

1.flume概念flume是分布式的，可靠的，高可用的，用于对不同来源的大量的日志数据进行有效收集、聚集和移动，并以集中式的数据存储的系统。flume目前是apache的一个顶级项目。flume需要java运行环境，要求java1.6以上，推荐java1.7.将下载好的flume安装包解压到指定目录即可。2.flume中的重要模型2.1.1.flume Event

2017-11-16 14:58:23 629

转载 Hive命令的3种调用方式

方式1：hive –f /root/shell/hive-script.sql（适合多语句）hive-script.sql类似于script一样，直接写查询命令就行例如：[root@cloud4 shell]# vi hive_script3.sqlselect * from t1;select count(*) from t1;不进入交互

2017-11-15 07:59:12 413

转载 Flume的基本概念

一：Flume介绍1.1、在hadoop生态圈中，Flume的位置。1.2、Flume是什么？有Cloudera公司开源分布式、可靠、高可用的海量日志采集系统数据源可定制，可扩展。数据存储系统可定制，可扩展。中间件：屏蔽了数据源和数据存储系统的异构性。1.3、Flume的两个版本

2017-11-14 13:52:10 331

转载大数据系列之Flume--几种不同的Sources

1.flume概念flume是分布式的，可靠的，高可用的，用于对不同来源的大量的日志数据进行有效收集、聚集和移动，并以集中式的数据存储的系统。flume目前是apache的一个顶级项目。flume需要java运行环境，要求java1.6以上，推荐java1.7.将下载好的flume安装包解压到指定目录即可。2.flume中的重要模型2.1.1.flume Event

2017-11-14 13:43:06 1431

转载 flume常用source问题总结

一、SpoolDirectorySource 作用：监测配置的目录下新增的文件，并将文件中的数据读取出来。问题： 1.spool目录下的文件不可以再打开编辑；spool目录下不可包含相应的子目录2.SpoolSource无法实现实时的收集数据解决：log4j TimeRolling的插件，分割机制设为1分钟一次，需改log4j配置文件3.无法使用TimeR

2017-11-14 13:37:27 1409

转载 HDFS中NameNode启动过程

HDFS中NameNode启动过程移动到hadoop文件目录下NameNode启动命令:sbin/hadoop-daemon.sh start namenodeDataNode启动命令:sbin/hadoop-daemon.sh start datanode过程描述:NameNode启动后，会进入30秒的等待时间，此时处于安全模式，所谓的安全模式就是只能执行相关

2017-11-14 08:29:08 498

转载 Hadoop Hive sql语法详解

Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需要的内容，这套SQL 简称Hive SQL，使不熟悉mapreduce 的用户很方便的利用SQ

2017-11-12 08:31:04 192

u013221557的博客