on_way__Hadoop生态系统,GUN/Linux,2012齐鲁软件大赛-CSDN博客

原创 EmacsTalk：一档专注在 Emacs 社区的程序员闲聊节目

______ _______ _ _| ____| |__ __| | | || |__ _ __ ___ __ _ ___ ___| | __ _| | | __| __| | '_ ` _ \ / _` |/ __/ __| |/ _` | | |/ /| |____| | | | | | (_| | (__\__ \ | (_| | | <|______|_| |_| |.

2021-07-15 08:52:24 181

原创 HIVE再次尝试用 Mysql 环境搭建以及 mysql中文乱码完美解决

上文说道hive用默认的Derby作为metadata的存放处，但是这个缺点比较多，只能同时让一个用户登陆，不能用于真正的集群，下面讲解用mysql作为数据的搭建方法。第一步：安装mysql因为我用的是ubuntu系统，安装比较简单，一行命令搞定sudo apt-get install mysql-server第二步：配置hive首先，我假设你已经能够用De

2013-09-17 18:10:33 2898

原创 Hadoop全分布式环境搭建

Hadoop的单击版和伪分布式版环境都好搭建（具体方法参见：hadoop单击版与伪分布式安装方法），这个全分布式还真是费了我不少时间。下面说说我的步骤：（一）准备工作1.准备3台装有linux的机器，具有相同的用户名（这个是必须的，我这里都是liujiacai）三台机器到ip与主机名192.168.6.38 master192.168.6.21 node1192.168.6

2013-03-03 09:16:26 2900 2

原创 sqoop 2 API 踩坑纪录

sqoop2 相对 sqoop1，最大的优势就是提供了API方式来调用，这样第三方用户就可以根据自己的逻辑进行订制。这里记录下使用 sqoop2 将 mysql 数据导入 hdfs，hdfs 导出到 mysql 两种数据同步。相关软件sqoop 1.99.7hadoop 2.6.0相关代码import org.apache.sqoop.client.SqoopClient;import or

2017-03-01 18:56:57 3405 1

在 Hive 0.14 之前，Hive QL 一直不支持insert、update、delete 操作，这显然很不方便，尤其是在构建数据仓库的过程中，一个比较常见的例子是维度表经常需要更新某列，在 Hive 中需要更新历史所有数据，这显然是不合理的。在 Hive 0.14 版本，支持了行级别的 ACID 与 Transactions，这也就解决了上面的问题。本文主要讲解如何在 Hive 0.14 配

2016-04-02 22:54:05 5117

原创 shell 变量

引言shell这门语言，作为与Linux交互效率最高的工具，我相信每个code monkey在工作中或多或少都会用到；我今天要讲的是这门语言中最基本的部分——变量。shell中的变量与类C语言差异较大，相信大家看完后都会有所收获。语法在shell中，我们可以使用FOO=BAR这样的方式声明变量（注意，这里不能有空格），当使用这种方式声明变量时，变量是没有类型的，或者说变量的类型可以根据上下文自己转换

2015-05-17 20:50:53 692

原创 javascript中的面向对象(object-oriented)编程

本文原发于我的个人博客，经多次修改放到csdn上，主要是做备份用，为了更好的阅读体验，请到我的个人博客上阅读。最近工作一直在用nodejs做开发，有了nodejs，前端、后端、脚本全都可以用javascript搞定，很是方便。但是javascript的很多语法，比如对象，就和我们常用的面向对象的编程语言不同；看某个javascript开源项目，也经常会看到使用this关键字，而这个this关键字在j

2015-02-07 15:39:45 1137

原创 cdh5.1.0 yum安装说明

1.core-site.xml<property> <name>fs.defaultFS</name> <value>hdfs://master:8020</value></property>2.hdfs-site.xml<property> <name>dfs.namenode.name.dir</name> <value>file:///data/dfs/nn

2015-02-06 10:28:41 1036 1

原创 bash 类别简述

本文内容来自man bash

2014-10-26 21:11:13 930

原创 ResourceManager内部组成

1. ClientService

2014-09-27 11:20:18 1216

原创 cdh5.1.0 集成ganglia

ganglia英文意思是“中枢神经”，那么

2014-08-23 14:08:14 1681

原创 yarn架构及 client提交任务过程讲解

先看个yarn的整体架构Client向RM提交任务的过程大致分为七步，先上图在解释：1. Client向RM发出请求2. RM返回一个ApplicationID作为回应3. Client向RM回应Application Submission Context（ASC）。ASC包括ApplicationID、user、queue，以及其他一些启动AM相关的信息，除此之外，还

2014-08-18 23:04:43 1260

原创今后这个博客不再更新，迁移至http://liujiacai.net/

今后这个博客不再更新，迁移至

2014-05-09 16:39:58 1019

原创 git 使用初步

目前公司使用gitlab搭建了git服务器，在此记录一下工作中经常要用的命令。git介绍最权威的当然还是官网，下面调重点来说：参考链接http://git-scm.com/book/zh/%E8%B5%B7%E6%AD%A5-Git-%E5%9F%BA%E7%A1%80理念git的理念是速度、完全分布式，git的速度速度得益于其独创的以文件快照的形式保存不同版本之间

2014-01-27 15:27:26 982

原创实用bash命令记录

本篇文章记录工作中比较实用，能减轻工作量的bash命令。1.字符串截取假设有这么一个变量silo=/home/liujiacai/codes/cascalog/silo，那么${silo##/*/}=silo，${silo#/*/}=liujiacai/codes/cascalog/silo##表示取后面字符串最长的那段；#表示取最短的那段

2014-01-16 16:12:00 1157

翻译 cascading基本概念

Chaining Pipes// the "left hand side" assembly headPipe lhs = new Pipe( "lhs" );lhs = new Each( lhs, new SomeFunction() );lhs = new Each( lhs, new SomeFilter() );// the "right hand side" assemb

2014-01-03 13:58:38 6238

原创由batch 命令setlocal enabledelayedexpansion引发的

预告：先来一段长长的唠叨！作为一名比较能折腾的初级程序员，对一切都充满了好奇心，强迫症是个比较流行的词，我想我也应该是中毒份子吧。这几天在公司折腾环境，一直用的是ubuntu，很好很强大，但是用上两个显示屏后就变得特别慢（绝对无法忍受），ubuntu10.10后一直采用的事unity桌面，后来在google上发现原来是个bug（https://bugs.launchpad.net/ubun

2013-11-10 19:43:17 2231

原创把vim打造成一个全能IDE

如果你连vim都不知道是什么，那么请你不要再看下文。本文主要适合听说过vim但由于vim 的负责操作望而却步的同行们。本人系统是ubunt12.10,默认已经安装vim，是7.3版本，没有安装的话执行sudo apt-get install vim皆可。下面进入正题一.基本操作vim有三种模式，分别是：命令模式(Command mode)，插入模式(Insert

2013-11-01 18:24:34 1455

原创 HIVE 牛刀小试（伪分布式版本）

最近一直用hadoop处理数据，处理完以后要对数据进行分析，由于我们的数据不是很大，每次我都是把要分析的文件从hdfs下载到本地，然后再用python、shell脚本进行分析与统计，那hadoop生态系统中都有什么数据分析工具呢，目前据我所知，有两个：pig和hive。因为pig我以前看过，需要用Pig Lation（pig自己的脚本语言），为了省事，我这次直接看基于sql语句的hive。pig与

2013-09-16 16:59:29 1456

原创 ubuntu下安装openoffice

大家都知道ubuntu下office系列是用的libreoffice，我用这个打开一些word文档，然后这个word文档里面的格式就乱了，我很无言，于是想起来openoffice这个老牌软件，于是开始安装：1.首先去官网下载deb包：http://www.openoffice.org/download/other.html#aoo2.下载后得到Apache_OpenOffice_4.0.0

2013-09-15 11:35:03 6389

转载 hfs-delimited and lfs-delimited

Hey guys,I've pushed a snapshot update to Cascalog that includes two new taps -- hfs-delimited and lfs-delimited. These support the same keyword options as the other hfs-* and lfs-* taps, with a f

2013-08-20 16:37:52 980

原创 Clojure命名空间中use与require的区别

这个问题的答案来自于stackoverflow，老外人家回答问题就是细心、认真，学习一下。A：Can anyone explain the difference between use and require, both when used directly and as:use and :require in the ns macro?B：require loads li

2013-08-12 13:54:08 1882

转载 Hadoop生态系统工具指南

Hadoop工具生态系统生长迅速，以下是IT经理网整理的最新Hadoop工具资源，供IT经理日常参考，欢迎读者来信或留言补充。HadoopApache hadoop项目负责开发可靠的、可扩展的分布式计算开源软件。网址：hadoop.apache.org HDFS分布式文件系统提供高速的应用数据访问。网址：hadoop.apache.org/h

2013-08-06 14:59:27 2147

原创 mysql报错 Access denied for user 'root'@'localhost' (using password: YES)

java.sql.SQLException: Access denied for user 'root'@'localhost' (using password: YES)at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1073)at com.mysql.jdbc.MysqlIO.checkErrorPacket(My

2013-07-07 15:43:39 3928

原创 JavaScript数据安全实战！攻击与防范

最近虽说到了考试周了，但还是忍不住会编一些程序，最近再看《JavaScript王者归来》一书，以前我就知道JavaScript这门语言十分的神奇，虽说直接用jquery来做应用比较简单，但是想完完整整了解这个语言的特性我还是差的太远了，不废话了，推荐大家都看看这本书。利用JavaScript的常见攻击有以下几种：1.伪造表单提交目的地，从而窃取数据解释：HTML表单的提交由form的a

2013-06-26 10:55:52 1454

转载神奇的代码——JavaScript在浏览器中的妙用

现精心从网上淘了一些有价值的JavaScript代码，有兴趣的可以试试。方法：将给出的代码复制到浏览器地址栏（如果你够笨，那你就对照着一个字符一个字符的敲吧，我晕~~）然后回车就行了。 1.在任意网站上随意涂鸦 javascript:document.body.contentEditable='true'; document.designMode='on';

2013-06-26 10:04:16 2095

转载海量数据面试题举例

大数据量的问题是很多面试笔试中经常出现的问题，比如baidu google 腾讯这样的一些涉及到海量数据的公司经常会问到。下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。

2013-06-21 17:13:35 1059

原创 ubuntu下新增一个用户以及拥有sudo权限方法

1：增加一个swift用户：sudo useradd -mk /home/swift -s/bin/bash swift为swift用户添加密码：sudo passwd swift2：删除一个用户：userdel swift3：设置ROOT密码方法：sudo passwd root，然后输入密码即可！ //此方法仅针对root密码尚未设置的情况下

2013-06-01 19:29:26 1656

转载 Ubuntu10.10 隐藏桌面挂载的磁盘图标

再用了ubuntu13.04一段时间以后，发现机子老是卡死，很是郁闷又，网上搜索说是显卡驱动问题，所以研究了半天ubuntu13.04下装驱动的问题，到最后不小心把NVIDIA的驱动给删除了，然后图形化界面进不去了，唉，都是泪。我也不想再去研究了，直接换回我最喜欢的ubuntu10.10把，参照http://blog.csdn.net/on_way_/article/details/8561754

2013-05-30 20:32:54 1256

原创 2013第四届蓝桥杯 C/C++本科A组真题答案解析【交流帖】

今年的蓝桥杯又已经结束了，做的还是不怎么样，很多题目不难但就是算不出最终的结果，很是纠结，看来路还很长，另外昨天（2013-5-7）也受到了也受到了微软的thank you letter了，哎，都是苦逼的一天。不说了，直接看题吧，如果你对我的做法有异议或者有更好的解法，请给我留言，我会及时更新~~~~~1.高斯日记大数学家高斯有个好习惯：无论如何都要记日记。他的日记有个与众不同的地方

2013-05-07 12:20:54 12424 56

转载再次写给我们这些浮躁的程序员

2010年初写过一篇博客（我们是一群和平年代充满浮躁与抱怨的程序员），一年过去了，社会好像更浮躁，也有网友问我这方面的问题，于是有了下面这篇文章，再次写给我们这些刚入行浮躁的程序员，如何成长，以下是列出了一些成长的心得，我们不必每条都去实践，但是优秀的程序员成长过程中总会实践里面的几条。多做项目，多思考不要害怕做事，刚毕业的同学最缺的就是工作经验，乱七八糟的项目能让你很快就了解了一

2013-05-05 15:31:23 1166 1

原创 Hadoop集群中hosts文件配置问题

最近一直在做hadoop的应用，但是无奈于并行加速比一直不理想，两台机器运行的时间和一台机器运行的时间差不多，老师还一直要这个数据，并行计算比至少应该为1.5，这样的并行程序才有意义。加了个qq群，发现了问题所在，再说我解决方法之前，先说一下我hadoop集群的配置：2台笔记本，其中1台为lenovo z460，CPU为Core i3，主机名为：liujiacai-Ideapad-Z460

2013-04-29 11:33:12 3916

原创一个差三角问题的穷举法解决

今年再次报名了蓝桥杯算法程序设计比赛，去年没能进全国赛区的比赛总觉得有些遗憾，虽说自己不是什么牛人，但是就凭借着我这一颗热爱编程的心，也该让我进的呀。。。废话不多说了，直接看题------------------------------------------------------------------------------------------------------------

2013-04-24 14:31:31 1675

原创龙格库塔C 语言编程实现

最新一直在学一门很苦逼的课程《数值分析》，哎，高等数学没学好现在后悔了呀，哎回来再恶补，现在说正事。龙格库塔很牛掰的名字，是两个国外数学家的名字的合并，应该又是两个大牛。这个方法主要是用来解决微分方程的解，大体思路就是用差分代替微分。细节我就不说了，大家可以去百度，我这里直接给出龙格库塔家族的通式：这个是龙格库塔家族的通式，如果我们取累加和中的r为4则可以得到如下公式：

2013-04-22 21:39:16 11665 2

原创 Java中类成员初始化顺序问题

我下面举的例子是在Thinking in Java中摘取的，讲的比较透彻，这里与大家一起分享。package com.thinking.chapter4;class Bowl { public Bowl(int i) { System.out.println(i + " from Bowl"); } void f1(int marker) { System.out.pr

2013-04-21 15:21:59 975

原创一道递归的好题

题目描述：设整型数组A中有n个元素，输出从这n个数中取出的k个数的所有组合（k题目分析：从数组A中选出K(本题中k=3)个元素，为了避免重复和泄漏，可分别求出包括A[0]和不包括A[0]的所有组合。即包括A[0]时，求出A[1...n]中取出k-1个数的所有组合，不包括A[0]时，求出A[1...n]中取出k个元素的所有组合。将这两种情况合到一起，就是最终的结果。#includ

2013-03-31 10:42:46 1331 1

原创 TCPL 阅读笔记 Chapter1

#include #define OUT 0#define IN 1int main(void){ int c,state,nl,nc,nw; state = OUT; nl = nw = nc = 0; while((c=getchar())!=EOF) { nc++; if(c=='\n') { nl++; } if(c==' ' || c=='\n

2013-03-20 10:43:42 1146

原创 Hadoop 版本问题

最近一直再看《hadoop in action》这本书，这本书整体讲的不错，就是hadoop不同版本之间的区别比较大，大家学习时一定要用统一版本，否则事倍功半。书上第4章第四节讲的是版本间的区别，我这里简单整理一下：去hadoop的官网可以找到如下信息：1.0.X - current stable version, 1.0 release1.1.X - current beta

2013-03-10 17:04:51 3324

原创杭电1003

题目链接：http://acm.hdu.edu.cn/showproblem.php?pid=1003#include #include #include #define MAX 21int a[MAX];char c[MAX*2];int main(){ int n,i,j,k,index; int sum,x,y,maxNum,isnegative;

2013-03-06 18:11:30 1487 1

原创杭电1002

题目链接：http://acm.hdu.edu.cn/showproblem.php?pid=1002#include #include #define MAX 1010char a[MAX],b[MAX];int main(){ int n,i,j,length,jinwei=0; int flag; char temp; scan

2013-03-06 11:34:05 1210

ext hadoop

安装oozie时需要依赖这个js库，但是官方链接已经失效。我废了好大劲才找到的，传到这里做备份用。

2015-05-07

中国国家气象局之城市代码

中国国家气象局天气预报之城市代码，使用说明可参考：http://blog.sina.com.cn/s/blog_5fee18ee0101i1m1.html

2014-04-18

基于JSP局域网聊天室(源码+文档数据库mysql)

本人用jsp实现的局域网聊天室，开发环境myeclipse6.5+mysql+tomcat，代码关键部分有注释，可满足数据库课程设计需求、web课程设计需求。带有文档

2013-11-02

修改后的gtkrc文件

解决ubuntu12.10下unity桌面中，eclipse提示颜色问题，具体方法见：http://blog.csdn.net/on_way_/article/details/8566904

2013-02-03

vc6.0 实现的简单文件管理系统

本程序为用vc++6.0实现的简单文件管理系统，采用树形结构，可是实现文件的多层管理，另外，压缩包中包含了程序的截图和报告，对你理解程序会有一定的帮助

2013-01-09

[Oracle.10G.数据库系统教程.中科院培训老师讲授].视频下载

[Oracle.10G.数据库系统教程.中科院培训老师讲授] 值得你下载

2012-11-07

数据库课程设计---工资管理系统(程序+源码+文档)

本程序为数据课程设计---工资管理系统。本程序用java开发，数据库用mysql.在程序的关键地方都有相应的注释，并且还有表的设计、ER图、文档、题目分析等文件，希望对你的学习有所帮助。

2012-07-06

SQL Server2008 密钥

SQL Server2008 密钥，我亲自试过，可以用。和网上的大多数不一样。

2012-03-31

贪食蛇【C语言双向链表实现】

一款经典小游戏——《贪食蛇》，本程序用c语言实现，采用的数据结构是双向链表，画图用了头文件中的相关函数，你可以轻松在网上找到这个头文件，本程序在VC++6.0中测试通过。

2012-02-01

全国软件大赛（2012年第三届）说明

为推动软件开发技术的发展，促进软件专业技术人才培养，向软件行业输送具有创新能力和实践能力的高端人才，提升高校毕业生的就业竞争力，全面推动行业发展及人才培养进程，工业和信息化部人才交流中心特举办“全国软件专业人才设计与创业大赛”，大赛包括三个比赛项目，JAVA软件开发、C/C++程序设计和创业大赛。每个组别设置“本科组”和“高职高专组”。

2012-01-11

公交车查询系统（C语言实现）

本公交车查询系统完全由本人完成，作为算法与数据结构课程的课程设计作品。本程序主要使用C++语言完成，主要是运用了常用的数据结构，比如：链表、栈、队列、图等数据结构，也用了一些数据结构上的经典算法，比如KMP，迪克斯特的最短路径算法。本程序的关键部分都用注释，并且配有Readme.txt以及一个报告，相信你一定能看懂本程序。

2012-01-07

DuckHunt(HTML5+JavaScript)

Javascript一直被编程界认为是不能做大事的语言，大部分的程序员都会这种语言，因为它很好学。那我告诉你了，只要你会js，你就能开发游戏，不错的游戏，上得了台面的游戏。这款《狙击野鸭》的游戏就是用纯Javascript写成的，作者用了20个小时开发出来这个500行js代码的游戏，虽然比不上“愤怒的小鸟”，但各种游戏元素基本都有，如果能经过精心对它再设计，我相信它完全不会输于愤怒的小鸟。大家可以试玩一下这个《狙击野鸭》的游戏，感受一下效果。

2011-11-26

Android API

API文档(Reference)是Android开发的基础，三年来(2007-2010)官方仍未出中文版的API，Android中文翻译组聚一批从事Android开发人员、论坛版主、大学生、研究生等利用业余时间对Android的API进行翻译，人数从1人到80+人不断壮大，发表的译文从1篇到50篇不断增多，为的只是多一份Android中文资料.

2011-10-19

C读取各种位BMP图片1

本程序演示了用C读取各种格式的bmp图片，采用了最为底层的方法，用了graphics.h中的putpiexl()逐个画像素，相信对大家的在操作bmp图片时会有帮助的。注：本程序需要graphics.h这个头文件，你可以轻松的在百度上找到它。

2011-10-14

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人