自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Keep writing codes

工作偏向Hadoop、Hive、Spark等;业余爱好折腾各种编程语言,Scheme、Ruby、Python、Clojure、Node.js

  • 博客(89)
  • 资源 (14)
  • 收藏
  • 关注

原创 EmacsTalk:一档专注在 Emacs 社区的程序员闲聊节目

______ _______ _ _| ____| |__ __| | | || |__ _ __ ___ __ _ ___ ___| | __ _| | | __| __| | '_ ` _ \ / _` |/ __/ __| |/ _` | | |/ /| |____| | | | | | (_| | (__\__ \ | (_| | | <|______|_| |_| |.

2021-07-15 08:52:24 72

原创 HIVE再次尝试 用 Mysql 环境搭建 以及 mysql中文乱码完美解决

上文说道hive用默认的Derby作为metadata的存放处,但是这个缺点比较多,只能同时让一个用户登陆,不能用于真正的集群,下面讲解用mysql作为数据的搭建方法。第一步:安装mysql因为我用的是ubuntu系统,安装比较简单,一行命令搞定sudo apt-get install mysql-server第二步:配置hive首先,我假设你已经能够用De

2013-09-17 18:10:33 2825

原创 Hadoop全分布式环境搭建

Hadoop的单击版和伪分布式版环境都好搭建(具体方法参见:hadoop单击版与伪分布式安装方法),这个全分布式还真是费了我不少时间。下面说说我的步骤:(一)准备工作1.准备3台装有linux的机器,具有相同的用户名(这个是必须的,我这里都是liujiacai)三台机器到ip与主机名192.168.6.38 master192.168.6.21 node1192.168.6

2013-03-03 09:16:26 2821 2

原创 sqoop 2 API 踩坑纪录

sqoop2 相对 sqoop1,最大的优势就是提供了API方式来调用,这样第三方用户就可以根据自己的逻辑进行订制。这里记录下使用 sqoop2 将 mysql 数据导入 hdfs,hdfs 导出到 mysql 两种数据同步。相关软件sqoop 1.99.7hadoop 2.6.0相关代码import org.apache.sqoop.client.SqoopClient;import or

2017-03-01 18:56:57 3269 1

原创 HIVE 新特性 ACID 初试

在 Hive 0.14 之前,Hive QL 一直不支持insert、update、delete 操作,这显然很不方便,尤其是在构建数据仓库的过程中,一个比较常见的例子是维度表经常需要更新某列,在 Hive 中需要更新历史所有数据,这显然是不合理的。在 Hive 0.14 版本,支持了行级别的 ACID 与 Transactions,这也就解决了上面的问题。本文主要讲解如何在 Hive 0.14 配

2016-04-02 22:54:05 5020

原创 shell 变量

引言shell这门语言,作为与Linux交互效率最高的工具,我相信每个code monkey在工作中或多或少都会用到;我今天要讲的是这门语言中最基本的部分——变量。shell中的变量与类C语言差异较大,相信大家看完后都会有所收获。语法在shell中,我们可以使用FOO=BAR这样的方式声明变量(注意,这里不能有空格),当使用这种方式声明变量时,变量是没有类型的,或者说变量的类型可以根据上下文自己转换

2015-05-17 20:50:53 643

原创 javascript中的面向对象(object-oriented)编程

本文原发于我的个人博客,经多次修改放到csdn上,主要是做备份用,为了更好的阅读体验,请到我的个人博客上阅读。最近工作一直在用nodejs做开发,有了nodejs,前端、后端、脚本全都可以用javascript搞定,很是方便。但是javascript的很多语法,比如对象,就和我们常用的面向对象的编程语言不同;看某个javascript开源项目,也经常会看到使用this关键字,而这个this关键字在j

2015-02-07 15:39:45 1078

原创 cdh5.1.0 yum安装说明

1.core-site.xml<property> <name>fs.defaultFS</name> <value>hdfs://master:8020</value></property>2.hdfs-site.xml<property> <name>dfs.namenode.name.dir</name> <value>file:///data/dfs/nn

2015-02-06 10:28:41 978 1

原创 bash 类别简述

本文内容来自man bash

2014-10-26 21:11:13 816

原创 ResourceManager内部组成

1. ClientService

2014-09-27 11:20:18 1142

原创 cdh5.1.0 集成ganglia

ganglia英文意思是“中枢神经”,那么

2014-08-23 14:08:14 1614

原创 yarn架构 及 client提交任务过程讲解

先看个yarn的整体架构Client向RM提交任务的过程大致分为七步,先上图在解释:1. Client向RM发出请求2. RM返回一个ApplicationID作为回应3. Client向RM回应Application Submission Context(ASC)。ASC包括ApplicationID、user、queue,以及其他一些启动AM相关的信息,除此之外,还

2014-08-18 23:04:43 1158

原创 今后这个博客不再更新,迁移至http://liujiacai.net/

今后这个博客不再更新,迁移至

2014-05-09 16:39:58 978

原创 git 使用初步

目前公司使用gitlab搭建了git服务器,在此记录一下工作中经常要用的命令。git介绍最权威的当然还是官网,下面调重点来说:参考链接http://git-scm.com/book/zh/%E8%B5%B7%E6%AD%A5-Git-%E5%9F%BA%E7%A1%80理念git的理念是速度、完全分布式,git的速度速度得益于其独创的以文件快照的形式保存不同版本之间

2014-01-27 15:27:26 934

原创 实用bash命令记录

本篇文章记录工作中比较实用,能减轻工作量的bash命令。1.字符串截取假设有这么一个变量silo=/home/liujiacai/codes/cascalog/silo,那么${silo##/*/}=silo,${silo#/*/}=liujiacai/codes/cascalog/silo##表示取后面字符串最长的那段;#表示取最短的那段

2014-01-16 16:12:00 1074

翻译 cascading基本概念

Chaining Pipes// the "left hand side" assembly headPipe lhs = new Pipe( "lhs" );lhs = new Each( lhs, new SomeFunction() );lhs = new Each( lhs, new SomeFilter() );// the "right hand side" assemb

2014-01-03 13:58:38 5216

原创 由batch 命令setlocal enabledelayedexpansion引发的

预告:先来一段长长的唠叨!作为一名比较能折腾的初级程序员,对一切都充满了好奇心,强迫症是个比较流行的词,我想我也应该是中毒份子吧。这几天在公司折腾环境,一直用的是ubuntu,很好很强大,但是用上两个显示屏后就变得特别慢(绝对无法忍受),ubuntu10.10后一直采用的事unity桌面,后来在google上发现原来是个bug(https://bugs.launchpad.net/ubun

2013-11-10 19:43:17 2105

原创 把vim打造成一个全能IDE

如果你连vim都不知道是什么,那么请你不要再看下文。本文主要适合听说过vim但由于vim 的负责操作望而却步的同行们。本人系统是ubunt12.10,默认已经安装vim,是7.3版本,没有安装的话执行sudo apt-get install vim皆可。下面进入正题一.基本操作vim有三种模式,分别是:命令模式(Command mode),插入模式(Insert

2013-11-01 18:24:34 1382

原创 HIVE 牛刀小试 (伪分布式版本)

最近一直用hadoop处理数据,处理完以后要对数据进行分析,由于我们的数据不是很大,每次我都是把要分析的文件从hdfs下载到本地,然后再用python、shell脚本进行分析与统计,那hadoop生态系统中都有什么数据分析工具呢,目前据我所知,有两个:pig和hive。因为pig我以前看过,需要用Pig Lation(pig自己的脚本语言),为了省事,我这次直接看基于sql语句的hive。pig与

2013-09-16 16:59:29 1342

原创 ubuntu下安装openoffice

大家都知道ubuntu下office系列是用的libreoffice,我用这个打开一些word文档,然后这个word文档里面的格式就乱了,我很无言,于是想起来openoffice这个老牌软件,于是开始安装:1.首先去官网下载deb包:http://www.openoffice.org/download/other.html#aoo2.下载后得到Apache_OpenOffice_4.0.0

2013-09-15 11:35:03 6197

转载 hfs-delimited and lfs-delimited

Hey guys,I've pushed a snapshot update to Cascalog that includes two new taps -- hfs-delimited and lfs-delimited. These support the same keyword options as the other hfs-* and lfs-* taps, with a f

2013-08-20 16:37:52 952

原创 Clojure命名空间中use与require的区别

这个问题的答案来自于stackoverflow,老外人家回答问题就是细心、认真,学习一下。A:Can anyone explain the difference between use and require, both when used directly and as:use and :require in the ns macro?B:require loads li

2013-08-12 13:54:08 1828

转载 Hadoop生态系统工具指南

Hadoop工具生态系统生长迅速,以下是IT经理网整理的最新Hadoop工具资源,供IT经理日常参考,欢迎读者来信或留言补充。HadoopApache hadoop项目负责开发可靠的、可扩展的分布式计算开源软件。网址:hadoop.apache.org HDFS分布式文件系统提供高速的应用数据访问。网址:hadoop.apache.org/h

2013-08-06 14:59:27 2021

原创 mysql报错 Access denied for user 'root'@'localhost' (using password: YES)

java.sql.SQLException: Access denied for user 'root'@'localhost' (using password: YES)at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1073)at com.mysql.jdbc.MysqlIO.checkErrorPacket(My

2013-07-07 15:43:39 3879

原创 JavaScript数据安全实战!攻击与防范

最近虽说到了考试周了,但还是忍不住会编一些程序,最近再看《JavaScript王者归来》一书,以前我就知道JavaScript这门语言十分的神奇,虽说直接用jquery来做应用比较简单,但是想完完整整了解这个语言的特性我还是差的太远了,不废话了,推荐大家都看看这本书。利用JavaScript的常见攻击有以下几种:1.伪造表单提交目的地,从而窃取数据解释:HTML表单的提交由form的a

2013-06-26 10:55:52 1366

转载 神奇的代码——JavaScript在浏览器中的妙用

现精心从网上淘了一些有价值的JavaScript代码,有兴趣的可以试试。方法:将给出的代码复制到浏览器地址栏(如果你够笨,那你就对照着一个字符一个字符的敲吧,我晕~~)然后回车就行了。        1.在任意网站上随意涂鸦       javascript:document.body.contentEditable='true'; document.designMode='on';

2013-06-26 10:04:16 1978

转载 海量数据面试题举例

大数据量的问题是很多面试笔试中经常出现的问题,比如baidu google 腾讯 这样的一些涉及到海量数据的公司经常会问到。    下面的方法是我对海量数据的处理方法进行了一个一般性的总结,当然这些方法可能并不能完全覆盖所有的问题,但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目,方法不一定最优,如果你有更好的处理方法,欢迎与我讨论。

2013-06-21 17:13:35 1015

原创 ubuntu下新增一个用户以及拥有sudo权限方法

1:增加一个swift用户:sudo useradd -mk /home/swift -s/bin/bash swift为swift用户添加密码:sudo passwd swift2:删除一个用户:userdel swift3:设置ROOT密码方法:sudo passwd root,然后输入密码即可!    //此方法仅针对root密码尚未设置的情况下

2013-06-01 19:29:26 1581

转载 Ubuntu10.10 隐藏桌面挂载的磁盘图标

再用了ubuntu13.04一段时间以后,发现机子老是卡死,很是郁闷又,网上搜索说是显卡驱动问题,所以研究了半天ubuntu13.04下装驱动的问题,到最后不小心把NVIDIA的驱动给删除了,然后图形化界面进不去了,唉,都是泪。我也不想再去研究了,直接换回我最喜欢的ubuntu10.10把,参照http://blog.csdn.net/on_way_/article/details/8561754

2013-05-30 20:32:54 1137

原创 2013第四届蓝桥杯 C/C++本科A组 真题答案解析【交流帖】

今年的蓝桥杯又已经结束了,做的还是不怎么样,很多题目不难但就是算不出最终的结果,很是纠结,看来路还很长,另外昨天(2013-5-7)也受到了也受到了微软的thank you letter了,哎,都是苦逼的一天。不说了,直接看题吧,如果你对我的做法有异议或者有更好的解法,请给我留言,我会及时更新~~~~~1.高斯日记 大数学家高斯有个好习惯:无论如何都要记日记。他的日记有个与众不同的地方

2013-05-07 12:20:54 12157 56

转载 再次写给我们这些浮躁的程序员

2010年初写过一篇博客(我们是一群和平年代充满浮躁与抱怨的程序员),一年过去了,社会好像更浮躁,也有网友问我这方面的问题,于是有了下面这篇文章,再次写给我们这些刚入行浮躁的程序员,如何成长,以下是列出了一些成长的心得,我们不必每条都去实践,但是优秀的程序员成长过程中总会实践里面的几条。多做项目,多思考不要害怕做事,刚毕业的同学最缺的就是工作经验,乱七八糟的项目能让你很快就了解了一

2013-05-05 15:31:23 1133 1

原创 Hadoop集群中hosts文件配置问题

最近一直在做hadoop的应用,但是无奈于并行加速比一直不理想,两台机器运行的时间和一台机器运行的时间差不多,老师还一直要这个数据,并行计算比至少应该为1.5,这样的并行程序才有意义。加了个qq群,发现了问题所在,再说我解决方法之前,先说一下我hadoop集群的配置:2台笔记本,其中1台为lenovo z460,CPU为Core i3,主机名为:liujiacai-Ideapad-Z460

2013-04-29 11:33:12 3651

原创 一个差三角问题的穷举法解决

今年再次报名了蓝桥杯算法程序设计比赛,去年没能进全国赛区的比赛总觉得有些遗憾,虽说自己不是什么牛人,但是就凭借着我这一颗热爱编程的心,也该让我进的呀。。。废话不多说了,直接看题------------------------------------------------------------------------------------------------------------

2013-04-24 14:31:31 1607

原创 龙格库塔C 语言编程实现

最新一直在学一门很苦逼的课程《数值分析》,哎,高等数学没学好现在后悔了呀,哎回来再恶补,现在说正事。龙格库塔很牛掰的名字,是两个国外数学家的名字的合并,应该又是两个大牛。这个方法主要是用来解决微分方程的解,大体思路就是用差分代替微分。细节我就不说了,大家可以去百度,我这里直接给出龙格库塔家族的通式:这个是龙格库塔家族的通式,如果我们取累加和中的r为4则可以得到如下公式:

2013-04-22 21:39:16 10939 2

原创 Java中类成员初始化顺序问题

我下面举的例子是在Thinking in Java中摘取的,讲的比较透彻,这里与大家一起分享。package com.thinking.chapter4;class Bowl { public Bowl(int i) { System.out.println(i + " from Bowl"); } void f1(int marker) { System.out.pr

2013-04-21 15:21:59 929

原创 一道递归的好题

题目描述:设整型数组A中有n个元素,输出从这n个数中取出的k个数的所有组合(k题目分析:从数组A中选出K(本题中k=3)个元素,为了避免重复和泄漏,可分别求出包括A[0]和不包括A[0]的所有组合。即包括A[0]时,求出A[1...n]中取出k-1个数的所有组合,不包括A[0]时,求出A[1...n]中取出k个元素的所有组合。将这两种情况合到一起,就是最终的结果。#includ

2013-03-31 10:42:46 1233 1

原创 TCPL 阅读笔记 Chapter1

#include #define OUT 0#define IN 1int main(void){ int c,state,nl,nc,nw; state = OUT; nl = nw = nc = 0; while((c=getchar())!=EOF) { nc++; if(c=='\n') { nl++; } if(c==' ' || c=='\n

2013-03-20 10:43:42 1103

原创 Hadoop 版本问题

最近一直再看《hadoop in action》这本书,这本书整体讲的不错,就是hadoop不同版本之间的区别比较大,大家学习时一定要用统一版本,否则事倍功半。书上第4章第四节讲的是版本间的区别,我这里简单整理一下:去hadoop的官网可以找到如下信息:1.0.X - current stable version, 1.0 release1.1.X - current beta

2013-03-10 17:04:51 3235

原创 杭电1003

题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=1003#include #include #include #define MAX 21int a[MAX];char c[MAX*2];int main(){ int n,i,j,k,index; int sum,x,y,maxNum,isnegative;

2013-03-06 18:11:30 1432 1

原创 杭电1002

题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=1002#include #include #define MAX 1010char a[MAX],b[MAX];int main(){ int n,i,j,length,jinwei=0; int flag; char temp; scan

2013-03-06 11:34:05 1149

ext hadoop

安装oozie时需要依赖这个js库,但是官方链接已经失效。我废了好大劲才找到的,传到这里做备份用。

2015-05-07

中国国家气象局之城市代码

中国国家气象局天气预报之城市代码,使用说明可参考:http://blog.sina.com.cn/s/blog_5fee18ee0101i1m1.html

2014-04-18

基于JSP局域网聊天室(源码+文档 数据库mysql)

本人用jsp实现的局域网聊天室,开发环境myeclipse6.5+mysql+tomcat,代码关键部分有注释,可满足数据库课程设计需求、web课程设计需求。 带有文档

2013-11-02

修改后的gtkrc文件

解决ubuntu12.10下unity桌面中,eclipse提示颜色问题,具体方法见:http://blog.csdn.net/on_way_/article/details/8566904

2013-02-03

vc6.0 实现的简单文件管理系统

本程序为用vc++6.0实现的简单文件管理系统,采用树形结构,可是实现文件的多层管理,另外,压缩包中包含了程序的截图和报告,对你理解程序会有一定的帮助

2013-01-09

[Oracle.10G.数据库系统教程.中科院培训老师讲授].视频下载

[Oracle.10G.数据库系统教程.中科院培训老师讲授] 值得你下载

2012-11-07

数据库课程设计---工资管理系统(程序+源码+文档)

本程序为数据课程设计---工资管理系统。本程序用java开发,数据库用mysql.在程序的关键地方都有相应的注释,并且还有表的设计、ER图、文档、题目分析等文件,希望对你的学习有所帮助。

2012-07-06

SQL Server2008 密钥

SQL Server2008 密钥,我亲自试过,可以用。和网上的大多数不一样。

2012-03-31

贪食蛇【C语言 双向链表实现】

一款经典小游戏——《贪食蛇》,本程序用c语言实现,采用的数据结构是双向链表,画图用了头文件中的相关函数,你可以轻松在网上找到这个头文件,本程序在VC++6.0中测试通过。

2012-02-01

全国软件大赛(2012年第三届)说明

为推动软件开发技术的发展,促进软件专业技术人才培养,向软件行业输送具有创新能力和实践能力的高端人才,提升高校毕业生的就 业竞争力,全面推动行业发展及人才培养进程,工业和信息化部人才交流中心特举办“全国软件专业人才设计与创业大赛”,大赛包括三个比 赛项目,JAVA软件开发、C/C++程序设计和创业大赛。每个组别设置“本科组”和“高职高专组”。

2012-01-11

公交车查询系统(C语言实现)

本公交车查询系统完全由本人完成,作为算法与数据结构课程的课程设计作品。本程序主要使用C++语言完成,主要是运用了常用的数据结构,比如:链表、栈、队列、图等数据结构,也用了一些数据结构上的经典算法,比如KMP,迪克斯特的最短路径算法。本程序的关键部分都用注释,并且配有Readme.txt以及一个报告,相信你一定能看懂本程序。

2012-01-07

DuckHunt(HTML5+JavaScript)

Javascript一直被编程界认为是不能做大事的语言,大部分的程序员都会这种语言,因为它很好学。那我告诉你了,只要你会js,你就能开发游戏,不错的游戏,上得了台面的游戏。这款《狙击野鸭》的游戏就是用纯Javascript写成的,作者用了20个小时开发出来这个500行js代码的游戏,虽然比不上“愤怒的小鸟”,但各种游戏元素基本都有,如果能经过精心对它再设计,我相信它完全不会输于愤怒的小鸟。大家可以试玩一下这个《狙击野鸭》的游戏,感受一下效果。

2011-11-26

Android API

API文档(Reference)是Android开发的基础,三年来(2007-2010)官方仍未出中文版的API,Android中文翻译组聚一批从事Android开发人员、论坛版主、大学生、研究生等利用业余时间对Android的API进行翻译,人数从1人到80+人不断壮大,发表的译文从1篇到50篇不断增多,为的只是多一份Android中文资料.

2011-10-19

C读取各种位BMP图片1

本程序演示了用C读取各种格式的bmp图片,采用了最为底层的方法,用了graphics.h中的putpiexl()逐个画像素,相信对大家的在操作bmp图片时会有帮助的。 注:本程序需要graphics.h这个头文件,你可以轻松的在百度上找到它。

2011-10-14

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除