- 博客(33)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 虚拟机暂停后无法启动
问题：虚拟机暂停后无法启动出现VMware Workstation unrecoverable error: (vmx)Exception 0xc0000006 (disk error while paging) has occurred.A log file is available in "D:\Documents and Settings\user\My Document
2014-05-29 09:55:09
1123
原创 hadoop2.x常用端口及定义方法
Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooKeeper:组件节点默认端口配置用途说明HDFS
2014-05-28 14:58:33
739
转载 Hbase -- HBase性能调优
因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如有错误，欢迎指正。配置优化zookeeper.session.timeout默认值：3分钟（180000ms）说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServ
2014-05-26 11:43:32
574
转载 Hive学习笔记--Hive JDBC
第一部分：搭建Hive JDBC开发环境搭建：Steps•新建工程hiveTest•导入Hive依赖的包•Hive 命令行启动Thrift服务•hive --service hiveserver & 第二部分：基本操作对象的介绍Connection•说明：与Hive连接的Connection对象•Hive 的连接
2014-05-26 11:37:32
1071
转载 Hive学习笔记--Hive 优化
第一部分：Hadoop 计算框架的特性什么是数据倾斜•由于数据的不均衡原因，导致数据分布不均匀，造成数据大量的集中到一点，造成数据热点Hadoop框架的特性•不怕数据大，怕数据倾斜•jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，耗时很长。原因是map reduce作业初始化的时间是比较长的•su
2014-05-26 11:35:16
629
转载 Hive 内建操作符与函数开发
第一部分：关系运算Hive支持的关系运算符•常见的关系运算符•等值比较: =•不等值比较: •小于比较: •小于等于比较: •大于比较: >•大于等于比较: >=•空值判断: IS NULL•非空判断: IS NOT NULL•LIKE比较: LIKE•JAVA的LIKE操作: RLIKE•REGEXP操作: REGEXP•等
2014-05-26 11:26:30
610
转载 shark 安装 遇到的问题
声明版本号：hadoop： apache 2.2.0spark： 0.9.1shark： 0.9.1hive： 0.11.0shark官网：http://shark.cs.berkeley.edu/shark on cluster 文档：https://github.com/amplab/sha
2014-05-24 11:13:52
1313
原创 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. java.lang.Runtim
解决hiveFAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient
2014-05-24 10:49:24
9131
转载 Linux如何查看进程、杀死进程、启动进程等常用命令
1. findfind是最常见和最强大的查找命令，你可以用它找到任何你想找的文件。find的使用格式如下： $ find - ： 所要搜索的目录及其所有子目录。默认为当前目录。 - ： 所要搜索的文件的特征。 - ： 对搜索结果进行特定的处理。如果什么参数也不加，find默认搜索当前目录及其子目录，并且不过滤任何结果（也就是返回
2014-05-23 19:27:39
736
原创 spark与shark的安装
1. 约定本文约定Hadoop 2.4.0安装在/data/hadoop/current，而Spark 0.9.1被安装在/data/hadoop/spark，其中/data/hadoop/spark为指向/data/hadoop/spark。Spark官网为：http://spark.apache.org/，Shark官网为：http://shark.cs.berkeley.ed
2014-05-23 16:50:01
1715
转载 hadoop cdh5安装（我是按这个配置安装成功的）
Hadoop-2.2.0集群安装配置实践 2013-12-26 20:14:42 YanjunHadoop 2.x和1.x已经大不相同了，应该说对于存储计算都更加通用了。Hadoop 2.x实现了用来管理集群资源的YARN框架，可以面向任何需要使用基于HDFS存储来计算的需要，当然MapReduce现在已经作为外围的插件式的计算框架，你可以根据需要开发或者选择合适的计算框架。
2014-05-22 16:04:55
3974
原创 linux修改时间
解决linux的centos版本修改时间重启后无效的问题 安装完centos后，发现时间与本地时间不匹配，在网上找了好多的办法，但是一直没有奏效，重启之后，又恢复为原来的时间。很是纳闷。最后抱着试一试的心态加上了这句指令： ln -sf /usr/share/zoneinfor/Asia/Shanghai /etc/localtime 重启之后，竟然修改过来了，长舒了
2014-05-22 11:31:21
2804
原创 lazy=false和lazy=true的区别
lazy代表延时加载，lazy=false，代表不延时，如果对象A中还有对象B的引用，会在A的xml映射文件中配置b的对象引用，多对一或一对多，不延时代表查询出对象A的时候，会把B对象也查询出来放到A对象的引用中，A对象中的B对象是有值的。如果lazy=true，代表延时，查询A对象时，不会把B对象也查询出来，只会在用到A对象中B对象时才会去查询，默认好像是false，你可以看看后台的sql语句的
2014-05-21 19:08:55
4310
原创 cdh5安装注意
1、今天在安装hadoop后，启动start-yarn.sh后，nodemanager起不起来，后来查看DN节点的日志，报了以下一个错误：FATAL org.apache.hadoop.yarn.server.nodemanager.NodeManager: Error starting NodeManager java.lang.IllegalArgumentException: Th
2014-05-21 17:18:18
1369
转载 Hadoop 新 MapReduce 框架 Yarn 详解
Hadoop MapReduceV2(Yarn) 框架简介原 Hadoop MapReduce 框架的问题对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读者可参考 Hadoop 官方简介。使用和学习过老 Hadoop 框架（0.20.0 及之前版本）的同仁应该很熟悉如下的原 Ma
2014-05-20 16:06:16
585
原创 hadoop2/CDH4集群搭建
十分钟搭建自己的hadoop2/CDH4集群版本及准备我部署的是hadoop-2.0.0-cdh4.2.0.tar.gz，下载地址为http://archive.cloudera.com/cdh4/cdh/4/hadoop-2.0.0-cdh4.2.0.tar.gz。在http://archive.cloudera.com/cdh4/cdh/4/下还可以下载到CDH hadoop生
2014-05-20 12:27:27
699
转载 hadoop cdh安装
离10月15日Hadoop发布2.2.0这个稳定版本已经过去2个月了，最近终于抽了点时间搭建了一个3节点的集群，体验了一把YARN上如何跑Map/Reduce程序了。每次搭建Hadoop测试集群都或多或少的碰到一些问题，几乎没有一次是一步到位的了，这次也不例外，也碰到过几个问题，不过Google很快帮忙解决了。安装使用Hadoop2.2.0务必要先搞清除OS是32位还是
2014-05-20 12:25:02
1078
转载 Hive与Hbase的整合
Hive与Hbase的整合发表回复这是去年整理的一份文档，当时hive的最新版本是0.9.0，而现在hive的最新稳定版本是0.10.0，这份文档主要记录的是hive的安装以及如何与hbase整合起来，下面就是从这两点开始说明的。安装Hive官网：http://hive.apache.org/使用的版本是hive-0.9.0.tar.gz，下载后解压开来
2014-05-19 11:41:33
731
转载 Hadoop常见问题及解决办法
1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。修改办法：修改2个文件。 /etc/security/limits.conf
2014-05-19 11:29:07
5358
转载 使用hive读取hbase数据
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信，
2014-05-19 11:27:54
787
原创 python 正则表达式练习
#coding:utf-8import reif __name__ == '__main__': st = 'top tip tqp twp tep' #.匹配除\n以外的字符 #[]制定字符集 只要符合tip 或者top r = r"x[0-9]y" print re.findall(r,'x7y xwy') r
2014-05-16 14:08:24
884
转载 python正则表达式
1. 正则表达式基础1.1. 简单介绍正则表达式并不是Python的一部分。正则表达式是用于处理字符串的强大工具，拥有自己独特的语法以及一个独立的处理引擎，效率上可能不如str自带的方法，但功能十分强大。得益于这一点，在提供了正则表达式的语言里，正则表达式的语法都是一样的，区别只在于不同的编程语言实现支持的语法数量不同；但不用担心，不被支持的语法通常是不常用的部分。如果已经在其他语
2014-05-16 14:06:48
464
原创 eclipse右键new菜单自定义
Eclipse右键New菜单项的自定义设置大家都知道一般在Eclipse中新建一个项目或者文件都是通过菜单项的File-New来创建，然而有些右键出来的选项可能从来都不会使用到，而有些可能会常用到但是右键中又没有，这个时候就可以自定义New中的右键选项，具体设置方式如下：Window --> Customize Perspective... --> Shortcuts
2014-05-15 12:51:04
1063
转载 eclipse maven plugin 插件 安装 和 配置
环境准备：eclipse（Helios） 3.6maven 3.0.4maven3 安装： 安装 Maven 之前要求先确定你的 JDK 已经安装配置完成。Maven是 Apache 下的一个项目，目前最新版本是 3.0.4，我用的也是这个。 首先去官网下载 Maven：http://www.apache.org/dyn/closer.cgi
2014-05-15 12:28:35
501
原创 Hadoop添加节点datanode
1.部署hadoop和普通的datanode一样。安装jdk，ssh2.修改host和普通的datanode一样。添加namenode的ip3.修改namenode的配置文件conf/slaves添加新增节点的ip或host4.在新节点的机器上，启动服务[root@slave-004 hadoop]# ./bin/hadoop-daemon.
2014-05-12 14:58:11
550
转载 HDFS文件操作命令
Hadoop使用的是HDFS，能够实现的功能和我们使用的磁盘系统类似。并且支持通配符，如*。1. 查看文件列表查看hdfs中/user/admin/hdfs目录下的文件。a. 进入HADOOP_HOME目录。b. 执行sh bin/hadoop fs -ls /user/admin/hdfs查看hdfs中/user/admin/hdfs目录下的所有文件（包
2014-05-09 21:54:58
766
转载 【Hadoop】用web查看hadoop运行状态
我们安装完hadoop，下面我们从视觉上看看hadoop怎么玩的。 我们可以在win7系统上，通过web界面，在浏览器地址栏输入地址，直接查看hadoop的运行情况； 10.10.11.191:50030这个里面，我们可以看到Map/Reduce的管理情况 10.10.11.191:50070这里可以看到HDFS的管理情况。 但是在这里，会有一
2014-05-09 16:12:11
1338
原创 Linux下运行可执行Jar包
在Linux下运行可执行Jar包，首先准备jar包，一般的编译工具Eclipse，jbuilder都提供export功能，可以生成jar包。运行的命令行很简答java -jar 给定的jar包 [如果运行的jar包需要参数，直接后面依次给出就好]eg:java -jar Hello.jar inPut.txt outPut.txt
2014-05-09 16:06:01
2024
原创 linux screen 用法总结
你 是不是经常需要 SSH 或者 telent 远程登录到 Linux 服务器？你是不是经常为一些长时间运行的任务而头疼，比如系统备份、ftp 传输等等。通常情况下我们都是为每一个这样的任务开一个远程终端窗口，因为他们执行的时间太长了。必须等待它执行完毕，在此期间可不能关掉窗口或者断开连 接，否则这个任务就会被杀掉，一切半途而废了。或者我们起一个服务，比如说esmi，会有终端输出，只有在启动程
2014-05-09 10:07:34
5795
1
转载 ZeroMQ(java)之Router/Dealer模式
在开始之前先把guid里面提到的几个ZeroMQ的特性列一下吧：（1）ZeroMQ有自己的I/O线程来异步的处理I/O，而且后台采用了无锁的数据结构（2）在ZeroMQ中，所有的组件都可以动态的加入和移除，而且可以启动组件以任何的顺利，例如我们可以先启动request，再启动response，依然可以工作，而且还会自动的重连接。（3）如果有需要的话，会自动的将message
2014-05-08 12:49:41
1574
原创 传输层的各种模式——ZeroMQ 库的使用 .
最近在研究 ZeroMQ 库的使用，所以在这里总结一下各种模式，以便日后拿来使用。关于 ZeroMQ 库，我就不多介绍了，大家可以参考下面一些文章，以及他的官网、使用指南、API 参考、项目仓库等内容。开源点评：ZeroMQ简介ZeroMQ的学习和研究ZeroMQ 的模式ZeroMQ 的目标是成为 OSI 模型的传输层(Transport Layer)的标准协议
2014-05-08 12:43:38
3054
转载 zeromq的几种模式
Request-reply pattern 请求-回复模型这种模型主要用于从客户端向一个或多个服务实例发送请求，然后等待紧接着对于每个请求的回复里面又具体分了ZMQ_REQ ZMQ_REP ZMQ_DEALER ZMQ_ROUTERREQ 发送完消息后，必须接收一个回应消息后，才能发送新的消息。REP当接收消息时，都会返回一个消息。
2014-05-08 12:30:04
3238
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人