Keep writing codes

工作偏向Hadoop、Hive、Spark等;业余爱好折腾各种编程语言,Scheme、Ruby、Python、Clojure、Node.js...

排序:
默认
按更新时间
按访问量

HIVE再次尝试 用 Mysql 环境搭建 以及 mysql中文乱码完美解决

上文说道hive用默认的Derby作为metadata的存放处,但是这个缺点比较多,只能同时让一个用户登陆,不能用于真正的集群,下面讲解用mysql作为数据的搭建方法。 第一步:安装mysql 因为我用的是ubuntu系统,安装比较简单,一行命令搞定 sudo apt-get install...

2013-09-17 18:10:33

阅读数:2574

评论数:0

Hadoop全分布式环境搭建

Hadoop的单击版和伪分布式版环境都好搭建(具体方法参见:hadoop单击版与伪分布式安装方法),这个全分布式还真是费了我不少时间。下面说说我的步骤: (一)准备工作 1.准备3台装有linux的机器,具有相同的用户名(这个是必须的,我这里都是liujiacai) 三台机器到ip与主机名 19...

2013-03-03 09:16:26

阅读数:2635

评论数:2

sqoop 2 API 踩坑纪录

sqoop2 相对 sqoop1,最大的优势就是提供了API方式来调用,这样第三方用户就可以根据自己的逻辑进行订制。这里记录下使用 sqoop2 将 mysql 数据导入 hdfs,hdfs 导出到 mysql 两种数据同步。相关软件 sqoop 1.99.7 hadoop 2.6.0 相关代码i...

2017-03-01 18:56:57

阅读数:1782

评论数:2

HIVE 新特性 ACID 初试

在 Hive 0.14 之前,Hive QL 一直不支持insert、update、delete 操作,这显然很不方便,尤其是在构建数据仓库的过程中,一个比较常见的例子是维度表经常需要更新某列,在 Hive 中需要更新历史所有数据,这显然是不合理的。在 Hive 0.14 版本,支持了行级别的 A...

2016-04-02 22:54:05

阅读数:3197

评论数:0

shell 变量

引言shell这门语言,作为与Linux交互效率最高的工具,我相信每个code monkey在工作中或多或少都会用到;我今天要讲的是这门语言中最基本的部分——变量。shell中的变量与类C语言差异较大,相信大家看完后都会有所收获。语法在shell中,我们可以使用FOO=BAR这样的方式声明变量(注...

2015-05-17 20:50:53

阅读数:533

评论数:0

javascript中的面向对象(object-oriented)编程

本文原发于我的个人博客,经多次修改放到csdn上,主要是做备份用,为了更好的阅读体验,请到我的个人博客上阅读。最近工作一直在用nodejs做开发,有了nodejs,前端、后端、脚本全都可以用javascript搞定,很是方便。但是javascript的很多语法,比如对象,就和我们常用的面向对象的编...

2015-02-07 15:39:45

阅读数:855

评论数:0

cdh5.1.0 yum安装说明

1.core-site.xml<property> <name>fs.defaultFS</name> <value>hdfs://master:8020</value> </property> 2.hdfs-...

2015-02-06 10:28:41

阅读数:817

评论数:1

bash 类别简述

本文内容来自man bash

2014-10-26 21:11:13

阅读数:685

评论数:0

ResourceManager内部组成

1. ClientService

2014-09-27 11:20:18

阅读数:661

评论数:0

cdh5.1.0 集成ganglia

ganglia英文意思是“中枢神经”,那么

2014-08-23 14:08:14

阅读数:1272

评论数:0

yarn架构 及 client提交任务过程讲解

先看个yarn的整体架构 Client向RM提交任务的过程大致分为七步,先上图在解释: 1. Client向RM发出请求 2. RM返回一个ApplicationID作为回应 3. Client向RM回应Application Submission Context(ASC)。A...

2014-08-18 23:04:43

阅读数:907

评论数:0

今后这个博客不再更新,迁移至http://liujiacai.net/

今后这个博客不再更新,迁移至

2014-05-09 16:39:58

阅读数:877

评论数:0

git 使用初步

目前公司使用gitlab搭建了git服务器,在此记录一下工作中经常要用的命令。 git介绍最权威的当然还是官网,下面调重点来说: 参考链接http://git-scm.com/book/zh/%E8%B5%B7%E6%AD%A5-Git-%E5%9F%BA%E7%A1%80 理念 git的...

2014-01-27 15:27:26

阅读数:799

评论数:0

实用bash命令记录

本篇文章记录工作中比较实用,能减轻工作量的bash命令。 1.字符串截取 假设有这么一个变量silo=/home/liujiacai/codes/cascalog/silo,那么 ${silo##/*/}=silo, ${silo#/*/}=liujiacai/codes/cascalog/sil...

2014-01-16 16:12:00

阅读数:955

评论数:0

cascading基本概念

Chaining Pipes // the "left hand side" assembly head Pipe lhs = new Pipe( "lhs" ); lhs = new Each( lhs, new SomeFunction() ); lh...

2014-01-03 13:58:38

阅读数:2810

评论数:0

由batch 命令setlocal enabledelayedexpansion引发的

预告:先来一段长长的唠叨! 作为一名比较能折腾的初级程序员,对一切都充满了好奇心,强迫症是个比较流行的词,我想我也应该是中毒份子吧。 这几天在公司折腾环境,一直用的是ubuntu,很好很强大,但是用上两个显示屏后就变得特别慢(绝对无法忍受),ubuntu10.10后一直采用的事unity桌面,后来...

2013-11-10 19:43:17

阅读数:1784

评论数:0

把vim打造成一个全能IDE

如果你连vim都不知道是什么,那么请你不要再看下文。 本文主要适合听说过vim但由于vim 的负责操作望而却步的同行们。 本人系统是ubunt12.10,默认已经安装vim,是7.3版本,没有安装的话执行 sudo apt-get install vim 皆可。 下面进入正题 一.基本操作 v...

2013-11-01 18:24:34

阅读数:1225

评论数:0

HIVE 牛刀小试 (伪分布式版本)

最近一直用hadoop处理数据,处理完以后要对数据进行分析,由于我们的数据不是很大,每次我都是把要分析的文件从hdfs下载到本地,然后再用python、shell脚本进行分析与统计,那hadoop生态系统中都有什么数据分析工具呢,目前据我所知,有两个:pig和hive。因为pig我以前看过,需要用...

2013-09-16 16:59:29

阅读数:1186

评论数:0

ubuntu下安装openoffice

大家都知道ubuntu下office系列是用的libreoffice,我用这个打开一些word文档,然后这个word文档里面的格式就乱了,我很无言,于是想起来openoffice这个老牌软件,于是开始安装: 1.首先去官网下载deb包:http://www.openoffice.org/down...

2013-09-15 11:35:03

阅读数:3480

评论数:0

hfs-delimited and lfs-delimited

Hey guys, I've pushed a snapshot update to Cascalog that includes two new taps -- hfs-delimited and lfs-delimited. These support the same keyword ...

2013-08-20 16:37:52

阅读数:844

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭