Storm编程之wordcount(kafka--》Jstorm--》redis)

本文是笔者这周闲来无事做的一个小小的尝试。 设计的软件比较多,大家可以一一在本机安装一下,我的电脑是mac pro,基本安装起来和Linux基本一致,比较简单 基本都是下载 解压包 拷贝到安装目录重命名 然后启动服务 需要安装的基本有 JDK1.7,IDEA,kafka,Jstorm,redis都...

2016-12-06 16:08:57

阅读数 2735

评论数 2

scala实战之SparkSQL应用实例(单表count和groupby多来源表join等)

前面几篇博客说了如何读取mysql数据库中的表到DataFrame中以及如何将结果写入到mysql中 今天这个实例主要实现应用sparksql完成用户日志数据的提取并转换成DataFrame(我们将其定义为表 user)另外我们要从mysql数据库中load一个用户配置表(这里定义为userinf...

2016-09-29 15:45:22

阅读数 7553

评论数 2

scala实战之spark源码修改(能够将DataFrame按字段增量写入mysql数据表)

在上一篇博文中,我们可以简单的应用官网的给出的一些接口提取mysql数据表中的数据到spark中,也可以将spark的运行结果存入mysql中。 但是我们会发现spark将其DF存入mysql的时候,无论你选择什么模式: jdbcDF.write.mode(SaveMode.Overwrite)....

2016-09-23 11:26:31

阅读数 6472

评论数 2

mysql动态执行sql

这边重点代码是:set f_sql=CONCAT('rename table cw_computer_resulttest to cw_computer_result',f_last,';'); set @ms=f_sql; PREPARE stmt1 FROM @ms; EXECUTE stm...

2017-01-24 15:53:15

阅读数 437

评论数 0

hive表级权限配置以及运行调试

环境:我们已经安装了Hadoop集群,hive,hue 以及命令行工具Beeline hue: 主要是对hive数据仓库的一个可视化操作客户端,我们可以用hue对hive库添加管理员用户账号。 Beeline: HiveServer2提供了一个新的命令行工具Beeline,它是基于SQLLine...

2017-01-11 10:11:12

阅读数 4621

评论数 0

kafka单机重启topic丢失问题排查

这个问题,在线上集群环境一般不容易出现,因为相关的日志文件参数都已经配置好了,而且经受住时间的的验证了。 作为新手,我在本地配置了一个单机kafka,用得是kafka自带的zookeeper服务。 kafka安装很简单如下: 1).下载kafka: wget http://apac...

2016-11-29 11:11:10

阅读数 5646

评论数 0

mac上Jstorm单机安装实操

由于我的电脑是mac pro,想在本地安装一个阿里Jstorm玩玩,发现在Linux上的安装教程很多,但是mac上的能完整安装成功的没有。 虽然mac的内核也是linux但是还是有一定的差别,导致我们要安装很多的工具型程序 下面让我们开始吧 首先去官网参考一下 官网给的安装路数:https://g...

2016-11-24 10:31:50

阅读数 2462

评论数 0

solr+mysql数据同步配置

这两天在网上连续踩了N个坑,使我坚定一定要把这个简单但容易出错的配置一步一步的记录下来。 上一篇博文中我已经完成了数据如何从mysql中导入到solr。 基本要添加修改的文件是自定义core下面conf中:schema.xml  db-data-config.xml solrconfig.xml ...

2016-11-03 14:12:02

阅读数 8139

评论数 2

solr的在mac上的安装配置以及同步mysql数据

首先下载solr:本文用的是5.5.3版本 http://apache.fayea.com/lucene/solr/5.5.3/solr-5.5.3.tgz 下载完解压solr-5.5.3.tgz拷贝到你的安装目录 我是放到/Users/mac/Library/下 重命名为solr  mv so...

2016-11-01 16:06:06

阅读数 4803

评论数 0

mysql知识备忘(建表、存储过程、初次安装启动)

建表模板: Mysql临时表 当你创建临时表的时候,你可以使用temporary关键字。如: create temporary table tmp_table(name varchar(10) not null,passwd char(6) not null)‘ mysql 存储过程,函...

2016-09-26 11:18:02

阅读数 2543

评论数 0

scala实战之spark读取mysql数据表并存放到mysql库中编程实例

今天简单讲解一下应用spark1.5.2相关读取mysql数据到DataFrame的接口以及将DF数据存放到mysql中接口实现实例。 通过这段代码可以实现从mysql关系型数据库中直接读取数据转化成DataFrame参与到sparksql的分析当中这个意义是非常重大的,因为我们日常应用spark...

2016-09-20 11:05:19

阅读数 14050

评论数 1

mac pro 安装mysql并且配置my.cnf(添加默认字符集utf8,数据存放路径,修改已经建好的表的默认字符集等)

mac pro 安装mysql并且配置my.cnf(添加默认字符集utf8,数据存放路径等)并且对相关问题的解决方案。

2016-09-19 19:10:54

阅读数 20269

评论数 2

spark入门知识讲解和基础数据操作编程(统一用scala编程实例)

在我的上一篇博文中:http://blog.csdn.net/zfszhangyuan/article/details/52538108 讲如何应用scala编程完成用户的在线时长和登录次数在spark上的求解方式。 讲到这里有同学可能对编程完后如何将程序放到线上spark集群上运行以及如何理解s...

2016-09-16 15:23:03

阅读数 3725

评论数 0

scala实战之spark用户在线时长和登录次数统计实例

接触spark后就开始学习scala语言了,因为有一点python和java的基础学习起来还行,今天在这里把我工作中应用scala编程统计分析用户行为日志的实例和大家分析一下,我这里主要讲一下用户的在线时长统计和登录次数统计算法实现过程。

2016-09-14 15:05:20

阅读数 10347

评论数 2

hadoop之mapreduce编程实例(系统日志初步清洗过滤处理)

刚刚开始接触hadoop的时候,总觉得必须要先安装hadoop集群才能开始学习MR编程,其实并不用这样,当然如果你有条件有机器那最好是自己安装配置一个hadoop集群,这样你会更容易理解其工作原理。我们今天就是要给大家演示如何不用安装hadoop直接调试编程MapReduce函数。

2016-09-13 15:41:22

阅读数 8215

评论数 3

sparkstreaming之实时数据流计算实例

最近在用sparkstreaming的技术来实现公司实时号码热度排序,学习了一下sparkstreaming的相关技术,今天主要要讲一个简单sparkstreaming实时数据流技术的一个实例,帮助大家更好的理解和学习sparkstreaming编程原理。

2016-09-13 09:24:56

阅读数 13959

评论数 0

hadoop的发展和介绍

今天整好有这个时间,我就整理整理一下hadoop相关的资料,想初步简略的谈一下hadoop的发展史和应用情况。 说到hadoop不得不说一下大数据。 什么是大数据? 网上搜了一圈基本都是说数据量大,有价值的数据就叫大数据,这么说也不错,但是很抽象,很笼统,我总结了一下大数据最起码具备四个方面的特征...

2016-09-12 14:04:33

阅读数 3380

评论数 0

java多线程编程的两种方式

上一篇文章讲了多线程的同步但是发现好多同学对多线程的如何编程有点疑惑,今天根据网上的一些资料和方法来简单根据我之前的示例代码来演示一些,多线程编程实现的两种方法: 1、定义类继承thread类并且重写其run方法,最好调用其run()方法运行。 2、定义类实现Runnable接口,覆盖Runnab...

2016-09-12 10:45:43

阅读数 2889

评论数 0

mysqldump备份成压缩包

可以直接应用mysqldump直接将mysql数据库中的表或者整个数据库备份成压缩格式的包

2016-09-12 10:05:45

阅读数 7151

评论数 0

java多线程同步编程

学习java有一段时间了,一直对java的多线程同步理解的不够深刻,今天将我学习的过程记录下来帮助大家一起来学习深刻理解java的多线程同步策略 现实生活中多线程同步场景很多,比如说我的银行卡里面的money数是100,我自己正在银行存10元,而这时候我老婆正在超市用支付宝消费10,那么我的余额应...

2016-09-08 18:25:21

阅读数 2986

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭