Mysql tinyint和Sqlserver tinyint的区别,zerofill的使用

数据库表设计的时候一定要注意: Mysql里面,tinyint默认是有符号的,取值范围是-128到127,unsigned属性就是将数字类型无符号化 unsigned tinyint才是0-255; SQL Server支持bignt, int, smallint, tinyint这四种int...

2016-11-05 22:05:45

阅读数 185

评论数 0

SparkStreaming pull data from Flume

Spark Streaming + Flume Integration Guide:http://spark.apache.org/docs/latest/streaming-flume-integration.html 本例子是做一个Spark Streaming 从flume中拉取数据的...

2016-06-19 17:29:40

阅读数 24

评论数 0

Flume push数据到SparkStreaming

上节[url]http://kevin12.iteye.com/blog/2305946[/url]将flume的环境搭建好,并测试了flume的故障转移功能,这节编码实现Flume推送数据到Spark Streaming中。 下面的例子我只在master1上配置flume,worker1,wo...

2016-06-19 15:16:07

阅读数 37

评论数 0

Flume的安装和测试故障转移

[b]1.实现功能 [/b] 配置Flume监控本地文件夹变化,将变化的文件上传到hdfs上。 [b]2.集群规划(3台机器都需要安装)[/b] [img]http://dl2.iteye.com/upload/attachment/0118/1297/28d83bb4-6f97-36c...

2016-06-19 14:56:53

阅读数 71

评论数 0

Flume的安装和测试故障转移

[b]1.实现功能[/b] 配置Flume监控本地文件夹变化,将变化的文件上传到hdfs上。 [b]2.集群规划(3台机器都需要安装)[/b] [img]http://dl2.iteye.com/upload/attachment/0118/1266/d91f8424-2cce-3134-9...

2016-06-19 12:48:07

阅读数 49

评论数 0

Spark Streaming 统计单词的例子

测试Spark Streaming 统计单词的例子 [b]1.准备[/b] 事先在hdfs上创建两个目录: 保存上传数据的目录:hdfs://master1:9000/library/SparkStreaming/data checkpoint的目录:hdfs://master1:90...

2016-06-19 12:29:38

阅读数 64

评论数 0

Spark SQL窗口函数

窗口函数又叫着窗口分析函数,Spark 1.4版本SparkSQL支持窗口分析函数,主要用于分组函数;理解窗口函数,可以参考blog去了理解:[url]http://www.cnblogs.com/CareySon/p/3411176.html[/url] [b]数据准备(用空格隔开)[/b...

2016-04-22 07:18:37

阅读数 112

评论数 0

Spark SQL内置函数应用

[b]简单说明[/b] 使用Spark SQL中的内置函数对数据进行分析,Spark SQL API不同的是,DataFrame中的内置函数操作的结果返回一个Column对象,而DataFrame天生就是“A distributed collection of data organize...

2016-04-22 07:00:36

阅读数 120

评论数 0

Spark SQL操作Hive数据库

本次例子通过scala编程实现Spark SQL操作Hive数据库! Hadoop集群搭建:[url]http://kevin12.iteye.com/blog/2273532[/url] Spark集群搭建:[url]http://kevin12.iteye.com/blog/2273532...

2016-04-13 22:37:39

阅读数 413

评论数 0

Spark SQL on hive配置和实战

spark sql 官网:[url]http://spark.apache.org/docs/latest/sql-programming-guide.html#starting-point-sqlcontext[/url] 首先要配置好hive,保存元数据到mysql中,参考:[url]h...

2016-03-26 18:40:52

阅读数 169

评论数 0

Hive分析搜索引擎的数据(搜狗实验室数据)

搜狗实验室:[url]http://www.sogou.com/labs/resources.html[/url] 用户查询日志:[url]http://www.sogou.com/labs/dl/q.html[/url] [img]http://dl2.iteye.com/upload/...

2016-03-13 12:48:59

阅读数 114

评论数 0

Hive使用默认数据库derby报错及解决方法

在使用derby数据库时,遇到了很多错误,报错信息和解决方法如下,记录下来: [b]一,配置问题[/b] [code="java"]Logging initialized using configuration in jar:file:/usr/local/...

2016-03-05 21:19:16

阅读数 152

评论数 0

Hive1.2.1安装和使用(基于Hadoop2.6.0)

安装hive,这里使用mysql作为hive的metastore; [b]Ubuntu 15.10虚拟机中安装mysql方法请看:[/b][url]http://kevin12.iteye.com/admin/blogs/2280771[/url] [b]Hadoop2.6.0集群安装:[...

2016-03-05 20:22:05

阅读数 80

评论数 0

ubuntu 15.10中msyql开启远程端口服务

[b]开启远程访问端口[/b] 首先查看端口是否打开[code="java"] root@master1:netstat -an|grep 3306[/code] 显示结果:[code="java"]tcp 0 0 127...

2016-03-05 14:18:54

阅读数 22

评论数 0

ubuntu 15.10安装mysql数据库 开启远程端口

最近基于hadoop-2.6.0安装apache-hive-1.2.1-bin,需要安装mysql数据库(Hive默认使用的derby)。 简单说明:Hive有一套映射工具,可以把SQL转换为MapReduce中的job,可以把SQL中的表、字段转换为HDFS中的文件(夹)以及文件中的列。这套映...

2016-03-05 14:11:20

阅读数 28

评论数 0

eclipse开发hadoop环境搭建

[b]Hadoop2.6.0集群搭建完毕后,下面介绍一下eclipse是如何开发hadoop程序(即MapReduce程序)的。[/b] 1.jdk安装hadoop集群的搭建,不再详述,参考[url]http://kevin12.iteye.com/blog/2273556[/url]; 下面...

2016-02-13 14:54:26

阅读数 18

评论数 0

Spark RDD弹性表现和来源

hadoop 的MapReduce是基于数据集的,位置感知,容错 负载均衡 基于数据集的处理:从物理存储上加载数据,然后操作数据,然后写入物理存储设备; 基于数据集的操作不适应的场景: 1,不适合于大量的迭代 2,交互式查询 重点是:基于数据流的方式 不能够复用曾经的结果或者中间计算结果...

2016-02-09 20:12:56

阅读数 149

评论数 0

Spark内核架构

1.在将spark内核架构前,先了解一下Hadoop的MR,Hadoop的MR分为Map和Reduce阶段,在Map阶段产生的中间结果要写回到磁盘,它和Reduce之间还有Shuffle操作,这个操作需要从网络节点进行数据拷贝,大量时间耗费在网络传输上,网络传输导致Hadoop的MR慢的原因之一,...

2016-02-07 12:24:56

阅读数 17

评论数 0

spark集群HA搭建

spark集群的HA图: [img]http://dl2.iteye.com/upload/attachment/0114/9089/eb35dece-fea3-3f5b-b200-07fa6406c463.png[/img] 搭建spark的HA需要安装zookeeper集群,下面简...

2016-01-31 08:50:27

阅读数 111

评论数 0

Spark集群中WordCount运行原理

以数据流动的视角解释一下wordcount运行的原理 [code="java"] package com.imf.spark.wordcount import org.apache.spark.{SparkContext, SparkConf} ...

2016-01-31 07:05:23

阅读数 101

评论数 0

提示
确定要删除当前文章?
取消 删除