- 博客(51)
- 资源 (4)
- 收藏
- 关注
MySql中特殊的SQL用法
作者:JesseZhang (CNZQS|JesseZhang)博客地址:http://www.cnzqs.com 作为数据库软件,mysql和oracle等都是基于标准的sql,但还是存在一些异同,这里对不同点进行列举:1、limit (注意行号从0开始)limit 3,4 :第一位表示行号,第二位表示返回几行数据,这个就表示,从第4行(行号从0开始)开始返回4行...
2012-02-15 22:02:46 133
原创 MySql中特殊的SQL用法
作者:JesseZhang (CNZQS|JesseZhang)博客地址:http://www.cnzqs.com作为数据库软件,mysql和oracle等都是基于标准的sql,但还是存在一些异同,这里对不同点进行列举:1、limit (注意行号从0开始)limit 3,4 :第一位表示行号,第二位表示返回几行数据,这个就表示,从第4行(行号从0开始)开
2012-02-15 21:57:30 667
Hadoop正式发布1.0版本
作者:JesseZhang (CNZQS|JesseZhang)博客地址:http://www.cnzqs.com Hadoop正式发布1.0版本,说明社区认为,这个版本已经逐步稳定了,这是个很大的利好,也是一个压力(如何能快速应用、精通,是我们都要面对的一个问题) http://t.cn/SMDO6B------------------------------...
2011-12-30 23:46:34 238
原创 Hadoop正式发布1.0版本
作者:JesseZhang (CNZQS|JesseZhang)博客地址:http://www.cnzqs.comHadoop正式发布1.0版本,说明社区认为,这个版本已经逐步稳定了,这是个很大的利好,也是一个压力(如何能快速应用、精通,是我们都要面对的一个问题) http://t.cn/SMDO6B-----------------------
2011-12-30 23:43:26 683
hadoop运行报错: java.lang.ClassNotFoundException解决方法
作者:JesseZhang (CNZQS|JesseZhang)博客地址:http://www.cnzqs.com在创建自定义的Mapper时候,编译正确,但上传到集群执行时出现错误:11/12/11 22:53:16 INFO mapred.JobClient: Task Id : attempt_201111301626_0015_m_000000_0, Status : F...
2011-12-11 23:10:46 769
原创 hadoop运行报错: java.lang.ClassNotFoundException解决方法
作者:JesseZhang (CNZQS|JesseZhang)博客地址:http://www.cnzqs.com在创建自定义的Mapper时候,编译正确,但上传到集群执行时出现错误:11/12/11 22:53:16 INFO mapred.JobClient: Task Id : attempt_201111301626_0015_m_000000_0, Sta
2011-12-11 23:07:11 2538
网友分享的《Hadoop实战》中文版 pdf
作者:JesseZhang (CNZQS|JesseZhang)博客地址:http://www.cnzqs.com 网友分享的《Hadoop实战》的中文版,虽然不太清晰,但比较适合没有实体书的朋友阅读,借花献佛也共享给大家,可以通过如下地址下载:http://t.cn/Sq1lOy-----------------------------------------...
2011-12-08 20:50:53 607
《权威指南》笔记十 管理Hadoop
作者:JesseZhang (CNZQS|JesseZhang)博客地址:http://www.cnzqs.com 要点:1、HDFS1.1永久性数据结构1.2 安全模式1.3 日志审计1.4 工具2、监控2.1 日志2.2 度量2.3 Java管理扩展(JMX)3、维护3.1 日常管理过程3.2 委任和解除节点3.3 升级...
2011-12-07 00:29:17 69
原创 《权威指南》笔记十 管理Hadoop
作者:JesseZhang (CNZQS|JesseZhang)博客地址:http://www.cnzqs.com要点:1、HDFS1.1永久性数据结构1.2 安全模式1.3 日志审计1.4 工具2、监控2.1 日志2.2 度量2.3 Java管理扩展(JMX)3、维护3.1 日常管理过程3.2 委任和解除节点3.
2011-12-07 00:22:08 1268
《权威指南》笔记九 构建Hadoop集群
作者:JesseZhang (CNZQS|JesseZhang)博客地址:http://www.cnzqs.com 要点:1、集群规范1.1网络拓扑2、集群的构建和安装2.1安装Java2.2创建Hadoop用户2.3安装Hadoop2.4测试安装3、SSH配置4、Hadoop配置3.1配置管理3.2环境设置3.3 Hadoop...
2011-12-05 22:03:48 106
原创 《权威指南》笔记九 构建Hadoop集群
作者:JesseZhang (CNZQS|JesseZhang)博客地址:http://www.cnzqs.com要点:1、集群规范1.1网络拓扑2、集群的构建和安装2.1安装Java2.2创建Hadoop用户2.3安装Hadoop2.4测试安装3、SSH配置4、Hadoop配置3.1配置管理3.2环境设置3.3 Hadoop
2011-12-05 22:00:04 1202
《权威指南》笔记八 MapReduce的特性
作者:JesseZhang (CNZQS|JesseZhang)博客地址:http://www.cnzqs.com 要点:1、计数器1.1内置计数器1.2用户定义的Java计数器1.3用户定义的Streaming计数器2、排序2.1准备2.2部分排序2.3全排序2.4辅助排序3、连接3.1map端连接3.2reduce端连接4、...
2011-12-05 00:25:56 92
原创 《权威指南》笔记八 MapReduce的特性
作者:JesseZhang (CNZQS|JesseZhang)博客地址:http://www.cnzqs.com要点:1、计数器1.1内置计数器1.2用户定义的Java计数器1.3用户定义的Streaming计数器2、排序2.1准备2.2部分排序2.3全排序2.4辅助排序3、连接3.1map端连接3.2reduce端连接4、边数
2011-12-05 00:22:26 1181
《权威指南》笔记七 MapReduce的类型和格式
作者:JesseZhang (CNZQS|JesseZhang)博客地址:http://www.cnzqs.com要点:1、MapReduce类型1.1默认的MapReduce Job2、输入格式2.1输入分片与记录2.2文本输入2.3二进制输入2.4多种输入2.5数据库输入(和输出)3、输出格式3.1文本输出3.2二进制输出3.3多个...
2011-12-04 00:30:43 90
原创 《权威指南》笔记七 MapReduce的类型和格式
作者:JesseZhang (CNZQS|JesseZhang)博客地址:http://www.cnzqs.com要点:1、MapReduce类型1.1默认的MapReduce Job2、输入格式2.1输入分片与记录2.2文本输入2.3二进制输入2.4多种输入2.5数据库输入(和输出)3、输出格式3.1文本输出3.2二进制输出3.3多
2011-12-04 00:27:19 1122
Google三大论文中文版 pdf
作者:JesseZhang (CNZQS|JesseZhang)博客地址:http://www.cnzqs.com 网上找到的Google三大论文的中文版,包括:bigData、GFS、MapReduce,共享给大家下载地址:http://t.cn/S4nMUi-----------------------------------------转...
2011-11-30 11:43:36 347
原创 Google三大论文中文版 pdf
作者:JesseZhang (CNZQS|JesseZhang)博客地址:http://www.cnzqs.com网上找到的Google三大论文的中文版,包括:bigData、GFS、MapReduce,共享给大家下载地址:http://t.cn/S4nMUi--------------------------------------
2011-11-30 11:39:58 1800
MySQL_python的安装笔记
作者:JesseZhang (CNZQS|JesseZhang)博客地址:http://www.cnzqs.com在Windows上成功安装并测试了Mysql后,准备在Linux上做一下尝试,毕竟以后的运行环境肯定是Linux。整个安装过程遇到了各种各样的错误,特将安装过程进行记录,来做一个总结,也方便大家后续遇到同样问题,可以解决。首先MySQL_python的安装有几个先...
2011-11-24 21:59:38 56
原创 MySQL_python的安装笔记
作者:JesseZhang (CNZQS|JesseZhang)博客地址:http://www.cnzqs.com在Windows上成功安装并测试了Mysql后,准备在Linux上做一下尝试,毕竟以后的运行环境肯定是Linux。整个安装过程遇到了各种各样的错误,特将安装过程进行记录,来做一个总结,也方便大家后续遇到同样问题,可以解决。首先MySQL_python的安装有几个先决
2011-11-24 21:46:10 1510 1
原创 PHP:特殊语法记录
php的语法大部分还是与asp等解释类语法是很类似的,但还是有一些细微的区别,在熟悉php语法的过程中,这里记录下来相关不同点,作为笔记。1、并置运算符在 PHP 中,只有一个字符串运算符。并置运算符 (.) 用于把两个字符串值连接起来。要把两个变量连接在一起,请使用这个点运算符 (.) :<?php$txt1="Hello World";$txt2="1234";
2011-11-12 22:32:55 556
PHP:特殊语法记录
php的语法大部分还是与asp等解释类语法是很类似的,但还是有一些细微的区别,在熟悉php语法的过程中,这里记录下来相关不同点,作为笔记。1、并置运算符在 PHP 中,只有一个字符串运算符。并置运算符 (.) 用于把两个字符串值连接起来。要把两个变量连接在一起,请使用这个点运算符 (.) :<?php$txt1="Hello World";$txt2="12...
2011-11-12 22:32:55 104
原创 Hadoop的五个典型应用场景
本文为转载,原始地址为:http://blog.nosqlfan.com/html/3395.html---------------------------------------------------------Hadoop作为大数据存储及计算领域的一颗明星,目前已经得到越来越广泛的应用。下面PPT主要分析了Hadoop的一些典型应用场景,并对其进行了深入分析,主要包括下面几个方...
2011-11-08 11:18:13 397
转载 Hadoop的五个典型应用场景
本文为转载,原始地址为:http://blog.nosqlfan.com/html/3395.html---------------------------------------------------------Hadoop作为大数据存储及计算领域的一颗明星,目前已经得到越来越广泛的应用。下面PPT主要分析了Hadoop的一些典型应用场景,并对其进行了深入分析,主要包括下面几个
2011-11-08 11:13:01 2482
Hadoop权威指南(第二版)pdf中文版
今天终于找到 hadoop权威指南第二版的中文pdf版本了,发给大家共享一下 下载地址:http://dl.dbank.com/c0hh1arjiz ----------------------------------------------------------------------------------------------------------...
2011-11-03 11:29:21 149
原创 Hadoop权威指南(第二版)pdf中文版
今天终于找到 hadoop权威指南第二版的中文pdf版本了,发给大家共享一下 下载地址:http://dl.dbank.com/c0hh1arjiz ----------------------------------------------------------------------------------------------
2011-11-03 11:27:44 7995 6
Python关键语法要素笔记
简单的读书笔记,随手记录 1、 元组是不能改变的;列表可以改变:insert、remove、append2、 逻辑操作符a) 身份操作符:is进行对象比较,只有引用相等才为true。速度快,内存存储地址的比较;常用语 is None>>> a = ['abc',123]>>> b = ['abc',123]...
2011-10-27 22:39:15 76
原创 Python关键语法要素笔记
简单的读书笔记,随手记录1、 元组是不能改变的;列表可以改变:insert、remove、append2、 逻辑操作符a) 身份操作符:is进行对象比较,只有引用相等才为true。速度快,内存存储地址的比较;常用语 is None>>> a = ['abc',123]>>> b = ['abc',123]>>> a is bFalse
2011-10-27 22:35:50 626
在Linux下安装Python
在Linux下安装Python的操作相当简单,按如下步骤操作即可: 1、 在官方网站下载python安装包,这里注意python.org/download路径被屏蔽,需要使用www.python.org页面上的中文“下载”链接进行下载。这里下载了python最新的3.2.2版本:Python-3.2.2.tgz下载后,文件目录在/home/python/下,这...
2011-10-26 23:49:09 75
原创 在Linux下安装Python
在Linux下安装Python的操作相当简单,按如下步骤操作即可:1、 在官方网站下载python安装包,这里注意python.org/download路径被屏蔽,需要使用www.python.org页面上的中文“下载”链接进行下载。这里下载了python最新的3.2.2版本:Python-3.2.2.tgz下载后,文件目录在/home/python/下,这也是我python的安装目
2011-10-26 23:44:45 553
利用Ant构建Hadoop高效开发环境
最近Hadoop的研究中,都是利用Mockito来模拟数据进行,下一个阶段需要在Hadoop服务器上做大量的运行进行验证,同时也要为正式使用做准备。 今天考虑使用Ant来搭建一个Hadoop的开发和调试环境,不使用hadoop自带的插件。思路如下:1、 利用Ant在开发机器上将代码编译、打包,最终得到可执行的jar包。2、 利用Ant的SSH属性,将jar包传...
2011-10-23 23:10:54 66
原创 利用Ant构建Hadoop高效开发环境
最近Hadoop的研究中,都是利用Mockito来模拟数据进行,下一个阶段需要在Hadoop服务器上做大量的运行进行验证,同时也要为正式使用做准备。 今天考虑使用Ant来搭建一个Hadoop的开发和调试环境,不使用hadoop自带的插件。思路如下:1、 利用Ant在开发机器上将代码编译、打包,最终得到可执行的jar包。2、 利用Ant的SSH属性,将jar包传到hadoop
2011-10-23 23:05:43 2585 2
Python下载地址
托GFW的福,Python编程语言的下载目录竟然被墙。这个问题已经很久了。。。 不过官方网站很人性化,专门提供了一个中文的下载路径。中文路径中将二级目录的download(www.python.org/download/)改为了getit(www.python.org/getit/)。看来老外比中国人还知道心疼中国人啊,嘿嘿 GFW这个误杀人所众知,但仍然不见其改变啊。。。...
2011-10-22 21:51:03 56
原创 Linux时间同步
Linux时间同步 部署Hadoop集群,遇到各个linux服务器的时间不同步的问题,于是研究了一下linux的时间同步方式,特将同步方式,总结如下:A、 前提条件a) 网络是连通的,这个不用解释撒,呵呵b) DNS服务器是正常的,可以通过ping来测试,如果出现unknow host,则需要设置DNS服务器。设置DNS的方式:-----
2011-10-22 14:33:41 615
Linux时间同步方式记录
Linux时间同步 部署Hadoop集群,遇到各个linux服务器的时间不同步的问题,于是研究了一下linux的时间同步方式,特将同步方式,总结如下:A、 前提条件a) 网络是连通的,这个不用解释撒,呵呵b) DNS服务器是正常的,可以通过ping来测试,如果出现unknow host,则需要设置DNS服务器。设置DNS的方式:...
2011-10-22 14:29:55 74
chp6_MapReduce工作机制_20111016
MapReduce工作机制 1. 剖析MapReduce的工作运行机制 2. 失败Tasktracker失败:失败检测机制,是通过心跳进行检测。主要有:(1) 超时:mapred.tasktracker.expiry.interval属性设置,单位毫秒(2) 黑名单机制:失败任务数远远高于集群的平均失败任务数。...
2011-10-16 19:42:09 65
原创 chp6_MapReduce工作机制_20111016
MapReduce工作机制 1. 剖析MapReduce的工作运行机制 2. 失败Tasktracker失败:失败检测机制,是通过心跳进行检测。主要有:(1) 超时:mapred.tasktracker.expiry.interval属性设置,单位毫秒(2) 黑名单机制:失败任务数远远高于集群的平均失败任务数。失败
2011-10-16 19:38:51 828 1
chp5_MapReduce应用开发_20111011
MapReduce应用开发1. MapReduce程序开发步骤编写map 和 reduce 程序–> 单元测试 -> 编写驱动程序进行验证-> 本地数据集调试 -> 部署到集群运行 用到的工具:Junit、Mockito、Ant 2. 使用Configuration关键点:1、 Configu...
2011-10-16 16:43:50 58
原创 chp5_MapReduce应用开发_20111011
MapReduce应用开发1. MapReduce程序开发步骤编写map 和 reduce 程序–> 单元测试 -> 编写驱动程序进行验证-> 本地数据集调试 -> 部署到集群运行 用到的工具:Junit、Mockito、Ant 2. 使用Configuration关键点:1、 Configuration类可以加载配置文件,包括系
2011-10-16 16:43:04 595
原创 hadoop的应用(摘自itpub论坛)
在itpub的hadoop论坛中看到一则hadoop的应用说明,觉得不错,转载之。地址:http://www.itpub.net/thread-1458086-1-1.html 在实际生产中,hadoop是怎么应用的?1.数据是怎么进入到HADOOP的?2.HADOOP在现在数据仓库中扮演的是一个什么样的角色?3.hadoop是不是需要二次开发?4.从HADOOP有什么缺点?能实现复杂...
2011-09-23 22:44:19 102
原创 Hadoop的Namenode的容灾处理
Hadoop的namenode是关键节点,虽然业务尽量单一,减少出错几率,但是程序都有出错的可能,所以还是需要有效的办法来解决,如下是权威指南里面介绍的两种方法: 1、备份那些组成文件系统元数据持久状态的文件。hadoop可以通过配置使namenode在多个文件系统上保存元数据的持久状态。这些写操作是实时同步的,是原子操作。一般的配置是:将持久状态写入本地磁盘的同时,写入一个远程挂载...
2011-08-17 21:48:13 504
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人