- 博客(9)
- 资源 (15)
- 收藏
- 关注
RSS订阅转载 工作流引擎 Oozie 安装 结合HUE使用
ref http://blog.csdn.net/nsrainbow/article/details/43746111Oozie是什么简单的说Oozie是一个工作流引擎。只不过它是一个基于Hadoop的工作流引擎，在实际工作中，遇到对数据进行一连串的操作的时候很实用，不需要自己写一些处理代码了，只需要定义好各个action，然后把他们串在一个工作流里面就可以自动执行了。对于
2017-08-28 10:01:26
1833
转载 oozie 常用命令
1.提交作业，作业进入PREP状态 oozie job -oozie http://localhost:11000/oozie -config job.properties -submit job: 14-20090525161321-oozie-joe2.执行已提交的作业oozie job -ooziehttp://localhost:11000/oozie
2017-08-28 09:58:35
369
转载 大数据架构和模式（三）理解大数据解决方案的架构层
http://kb.cnblogs.com/page/510980/摘要：大数据解决方案的逻辑层可以帮助定义和分类各个必要的组件，大数据解决方案需要使用这些组件来满足给定业务案例的功能性和非功能性需求。这些逻辑层列出了大数据解决方案的关键组件，包括从各种数据源获取数据的位置，以及向需要洞察的流程、设备和人员提供业务洞察所需的分析。 概述 这个 “大数
2017-08-25 22:04:43
548
原创 Scala-archetype-simple Version:1.6
有两种方法：一是从http://alchim31.free.fr/m2e-scala/update-site/下载，二是通过Eclipse配置安装。下面只介绍第二种方法。第一步：添加远程的原型或模板目录：http://repo1.maven.org/maven2/archetype-catalog.xml第二步：新建Archetype，因为maven默认没有Grou
2017-08-25 12:03:05
2188
原创 mysql高级语法：变量声明， 游标， 函数， 存储过程， 循环体， 触发器
# 准备： 查看该库下面有哪些表SELECT table_name,ENGINE FROM information_schema.TABLES WHERE table_schema='obd_message' ; # 1.1 自定义存储过程 游标与流程控制 DELIMITER $$ # 自定义终止符DROP PROCEDURE IF EXISTS change
2017-08-23 13:49:10
925
原创 Hbase 大表快速count
第一种比较简单，但是只适合小表进行count1.count命令最直接的方式是在hbase shell中执行count的命令可以统计行数。[html] view plain copyhbase> count ‘t1′ hbase> count ‘t1′, INTERVAL => 100000 hb
2017-08-14 16:56:40
22458
原创 org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException: No leas e on
异常信息：13/09/11 12:12:06 INFO hdfs.DFSClient: SMALL_BUFFER_SIZE is 512org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException: No lease on /tmp/put_dir/20
2017-08-10 11:11:18
1112
原创 hbase 集群迁移：Region still in transition, waiting for it to become assigned:
1. 在数据源集群执行 ： hadoop distcp /hbase/data/* hdfs://172.16.4.81/hbase/data/2. 在目标集群执行 :修改目标文件chown hdfs dfs -chown -R /hbase/data3. 之后执行 hbase hbck -repairhbase hbck -fixAssig
2017-08-10 11:04:38
3368
原创 kafka安装以及client和server端兼容性测试
由于kafka涉及到多人使用，不同的版本有影响，存在兼容性问题。特此做了一个测试,结果如下：server端的版本较高，能兼容低版本的client（包括producer and consumer）如果client端的版本较高：1. producet则无法成功写入2. consumer 消费会报错，也无法成功消费。此处针对的是0.8 ,0.9 和 0.10 三个版本之间进行兼
2017-08-01 14:38:26
9210
2
useragent解析逻辑&手机品牌匹配.txt
2021-11-22
shakespeare.json&logs;.jsonl.gz&accounts;.zip
2018-01-10
kafka-manager 1.3.3.15
2018-01-08
百度网盘 数据仓库工具箱 维度建模权威指南 第3版 全
2017-10-16
数据仓库工具箱 维度建模权威指南 第3版
2017-10-16
IDEA 创建scala工程并打指定的依赖包
2017-08-11
hbase自定义Comparator进行数值比较
2016-11-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人