- 博客(23)
- 收藏
- 关注
RSS订阅原创 编译oozie-4.1.0之中遇到的问题汇总
背景2016年4月的第三周，我一直在调查Falcon这个数据管理平台，但却在调查的过程中发现，当自己在Firefox中输入http://localhost:15443/public后，在接下来的设置中，需要用到Oozie。鉴于之前编译falcon的经验来看，还是自行编译Oozie源码为好。为此，就遇到了各种各样曾经困扰自己的问题，现在问题解决了，为了梳理自己过去一周自己的思路，打算将遇到的问题
2016-04-24 01:04:51
2758
原创 maven编译zepplin源码_win10
背景吃完饭，玩了会游戏，感觉没有意思，想给自己找些事情做。组内另一个小组在研修Apache Zepplin，看了一些，官网有binary文件，自己想再学习一下maven，就选它作为折腾的对象了。Apache Zepplin是一个基于web的文本，可以分析数据。是一个数据可视化操作的tool.英文：A web-based notebook that enables inter
2016-04-18 19:51:19
2007
2
原创 Maven编译apache falcon_win10
背景白天上班有虚拟机可以折腾，回到家，房子里的Ubuntu14.10折腾起来比较费劲，好多东西没有预先安装，用到什么的时候在去安装，在者，房子里的广电网络烂到姥姥家了。所以决定试试在win10下折腾一下maven+falcon。事前准备maven3.3.9apache falcon0.9jdk1.7_8安装JDK主要是环境变量的配置以及用ja
2016-04-15 21:05:23
3348
2
原创 【成功】maven编译 apache falcon0.9源码_RedHat6.4
背景最近一直在调查数据分析以及集群的软件，接下来，又开始了BI的调查了，今天就收到邮件，让调查apache falcon。各种环境折腾又开始了。事前准备apache falcon源码 （本次使用的是最新的apache-falcon-0.9-sources.tar.gz）jdk(1.7/1.8)maven(3.X) apache-maven-3.0.3-bin.tar
2016-04-13 11:12:59
3788
2
原创 数据集成--Informatica PowerCenter
概要随着数据呈现单位级别的递增，从海量的数据中分析出有价值的数据，对未来的事情进行一些预测，显得更能体现出BI的优越性了，但这也同时考验着数据处理ETL的性能和安全。这几天大体调查了一下informatica公司的PowerCenter，在国内市场上使用的挺早的，看到的资料里，最早是2005年就有提到。informatica powercenter与之前调查的Cisco的以及Jbo
2016-04-12 17:43:06
1751
原创 Redis-3.0.7_初步解析redis-cli
概要对redis3.0.7内部的一些处理理解不是很清楚，自己根据代码的调用关系，画出了简易的UML图，粒度把握不全，可能有些地方画得不对，请指摘。今天是从redis client的角度来看redis的。跟一般的CLI工具一样，大体有以下一些处理：初始化client的一些配置接受传入的参数逐个解析参数，跟配置文件不相同的，覆盖conf文件中参数的值client连接到server端
2016-04-12 16:49:56
1153
原创 Redis-3.0.7_ubuntu下编译
liblua.a(loslib.o): In function `os_tmpname':loslib.c:(.text+0x28b): warning: the use of `tmpnam' is dangerous, better use `mkstemp'cc -O2 -Wall -DLUA_ANSI -DENABLE_CJSON_GLOBAL -c -o luac.o luac
2016-04-11 20:30:46
2594
1
原创 Redis——源码分析之redis-server
概要 最近一直尝试去看点心东西，但又没有目标，想到之前计划要看的Redis源码，早上搭建了环境。代码是在Linux redhat6.5下托管着，在vmware下使用eclipse粘贴复制很不方便，遂使用xmanager工具配合eclipse来使用。事前准备xmanagereclipse(for c/c++)安装安装xmanager就是一路next，没有什
2016-04-11 11:38:21
2189
转载 程序员三年一跳，为什么越跳越好？
如今，人们已经放下了对跳槽的偏见，这是一件好事。点击打开链接之前，如果你每几年换一次工作，人们会觉得你的简历上有 “污点”。面试官会觉得你无法胜任一份工作，与同事相处不好，或者你对公司不忠诚，不能承担任务，等等。这种想法很快就被抛之脑后，尤其是千禧一代（1984-1995年 出生）开始走上工作岗位之后，他们希望在工作中不断学习，不断进步。他们与上一代人不同，上一代人的观点是一份工作
2016-04-10 16:17:18
2009
原创 DEBUG——redhat下安装eclipse&debug redis源码
背景今天心血来潮，想看看redis的源码，尝试debug一下，找了半天之前的虚拟机，上面却没有预先安装eclispe，对于GCC的调试又不会，思索之下，还是装个eclipse，虽然本人的JAVA很烂，但调试个C代码还是有信心的。物件因这次是调试C代码的，所以在下载eclipse的时候，选取了跟C相关的版本：eclipse-cpp-luna-SR1a-linux-gtk-x8
2016-04-08 13:41:02
1404
转载 Mongoose使用案例–让JSON数据直接入库MongoDB
为什么用Nodejs？为什么用MongoDB？从领域语言和代码简洁之道来看，这是我非常关心的问题。Nodejs基于Javascript，MongoDB脚步同样也是基于Javascript。而且他们的数据存储格式都是JSON，这就是为什么要把他们放在一起的原因了。如果程序前后端能直接处理JSON，我想数据处理过程又可以极大的减化了，代码量又将低少1/5。多么的兴奋啊！让我们来动手验证一下想法
2016-04-07 17:59:25
577
转载 Redis——如何阅读 Redis 源码？
PS:不错的帖子，先收藏了原文链接：如何阅读 Redis 源码？在这篇文章中，我将向大家介绍一种我认为比较合理的 Redis 源码阅读顺序，希望可以给对 Redis 有兴趣并打算阅读 Redis 源码的朋友带来一点帮助
2016-04-06 17:22:08
1236
转载 一张图清晰追溯数据库的发展历程（1962-2016年）
"数据库”起源于20世经90年代，当时美国为了战争的需要，把各种情报收集在一起，存储隐藏在计算机内，叫做Data Base(DB)。而当人们追溯数据库的发展历程（1962-2016年）时，会发现新的技术成果总是不断丰富人们的生活，且从来没有减速的趋势！原文链接：一张图清晰追溯数据库的发展历程（1962-2016年）
2016-04-06 16:37:14
1372
转载 Top 10 Algorithms for Coding Interview
歪果人面试题点击打开链接http://www.programcreek.com/2012/11/top-10-algorithms-for-coding-interview/?csdn
2016-04-06 16:33:28
293
原创 HBase——查询延迟的时间分布
查询时间对于HBase的查询而言，大体时间分为zookeeper检查时间WAL Split时间Region重新分布时间WAL Replay时间zookeeper检查时间 影响要素： zookeeper跟regionserver之间session的timeout时间 关联设置： 1. zookeeper.session.timeout 默认
2016-04-06 09:01:51
4068
原创 HBase——关于Region
RegionRegion是HBase数据管理的基本呢单位。数据的move,数据的balance，数据的split，都是按照region来进行操作的。region中存储这用户的真实数据，而为了管理这些数据，HBase使用了RegionSever来管理region。寻址过程数据寻址的一般过程如下，请参照： zookeeper
2016-04-05 11:23:42
8886
1
原创 bigdata——HBase+zookeeper+Hadoop集群构筑 之 Hbase集群构筑
整体流程物件下载解压conf文件配置启动&停止状态确认物件下载 参考hbase官网解压 tar -zxvf hbase-***.gzconf文件配置1.hbase-env.shexport JAVA_HOME=/usr/java/jdk1.7.0_67export HBASE_MANAGES_ZK=false注意：JDK根据自己的环境配置
2016-04-01 15:10:29
507
原创 bigdata——HBase+zookeeper+Hadoop集群构筑 之 zookeeper集群构筑
整体流程zookeeper物件下载物件解压zoo.cfg文件作成zoo.cfg文件设定dataDir的 ID作成zookeeper物件zookeeper官网下载，此处使用的是zookeeper-3.5.1-alpha。物件解压直接使用如下命令tar -zxvf zookeeper-****-***.gzzoo.cfg文件作成命令如
2016-04-01 14:51:52
450
原创 bigdata——HBase+zookeeper+Hadoop集群构筑 之 Hadoop YARN集群构筑
最近项目调查闲下来了，有时间让大脑来整体之前做过的调查，为了便于基于存档，遂将其记录下来，希望对后来者有所帮助。背景为了了解Hbase集群下数据的查询以及安全性方面的性能数据，需要搭建HBase集群，简单测试。角色分类+--------------+-------------+---------------------+-----------------+|
2016-04-01 14:26:27
598
转载 不是谁都可以当程序员的
不是谁都可以当程序员的子：爸，我相当程序员。父：哦，那你先买40公斤面粉来！子：啊？为什么？我一个人怎么搬？父：自己想办法。20分钟之内搞定！子：时间也太短了吧！父：还有，不要面粉了。要低筋粉。还有5分钟。子：要求变态多了吧！父：儿啊，我看你党不了程序员。 --------StarKnight译自日推
2016-04-01 13:37:12
743
原创 mongoDB——wiredTiger副本集模型的成员角色
mongoDB的理解，现阶段在串联调查的知识点，以后开始解析代码，从逻辑层面来再次确认理解不正确或者认识不足的地方。Replica-set之前接触过的NoSQL数据库，比如：hbase，hive来说，为了数据的安全性和可扩展性考虑，都是是用master-slave的模型，master节点永远承担这read&write，slave就是冷备份，只有当master发生宕机的情况下，众
2016-04-01 10:16:51
437
转载 大型网站架构知识结构
大型网站架构知识结构知识体系图，很清楚，收藏了。点击打开链接http://lib.csdn.net/base/16/structure软件/内库/中间件技术大型网站架构技术和原理案例分析
2016-04-01 10:08:31
309
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人