- 博客(111)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Hbase 基础知识整理
1、扫描操作scan 可以输入startRow和stopRow参数，其中 起始行包括在内，而终止行是不包括在内的，用区间表示就是【startRow,stopRow). 2、Region的rowKey也是 前开后闭模式【startRow,stopRow)....
2014-01-11 09:43:48
165
原创 Hbase异常 正在找解决办法 ~~
14/01/06 21:31:31 WARN client.HConnectionManager$HConnectionImplementation: Encountered problems when prefetch META table: org.apache.hadoop.hbase.TableNotFoundException: Cannot find row in .META. for...
2014-01-06 21:35:11
844
原创 hadoop无法停止
hadoop无法停止 hadoop运行一段时间后，无法正常停止。解决方法：1.jps查询所有的相关进程，如namenode，然后kill -9 进程号2.修改etc/hadoop/hadoop-env.sh 中的 hadoop-pid-dir 指定到一个有效的目录、 如：export hadoop-pid-dir=/data/hadoop/pids 产生...
2014-01-05 17:49:16
448
原创 hbase 启动报错解决
转载自：http://hi.baidu.com/coconutnut/item/97ba15ca5da3820fac092f6chbase 启动解决今天搞了一天。经常出现Server is not running yet 的错误。找了几个小时。终于发现是 hadoop 启动的问题。--------NameNode在启动的时候首先进入安全模式，如果datanode丢失的block...
2014-01-05 15:19:40
543
原创 启动hive 抛异常 "org.eclipse.core.resources" but it cannot be resolved.ERROR
运行命令 启动hive hive --service metastore 命令运行后 ERROR DataNucleus.Plugin: Bundle "org.eclipse.jdt.core" requires "org.eclipse.core.resources" but it cannot be resolved.ERROR DataNucleus.Plugin:...
2014-01-04 23:18:15
274
原创 Hadoop启动时进入安全模式 SafeModeException
用这个http://www.cnblogs.com/hustcat/archive/2010/06/30/1768506.html 解决的问题 。备忘~~ org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/input. Name node is in ...
2014-01-04 23:06:09
248
原创 hive 集成hbase 笔记
转载地址：http://blog.csdn.net/daniel_ustc/article/details/12795627 按这个博文安装成功，留个参考。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点学习成本低，可以通过类SQL语句快速实现简单的Map...
2014-01-01 18:07:57
86
原创 OOZIE上传mapReduce任务
例子路径：下载oozie-2.3.2-cdh3u6包 例子在oozie-2.3.2-cdh3u6/oozie-2.3.2-cdh3u6/docs/DG_Examples.html 文档中 ，可以用Command方式 oozie job -oozie http://localhost:11000/oozie -config examples/apps/map-reduce/job.pr...
2013-12-31 23:05:12
137
原创 Storm 本地运行 统计字母出现次数
说明：这个例子是在网上下载的，我将storm0.7.1的jar包引入 ，在windows环境eclipse下可以跑通 。 可以有助于理解storm处理流程，不用安装storm环境 , 将工程引入到项目 执行TopologyMain.java 传参words.txt路径 即可。 ...
2013-12-25 15:21:38
93
原创 Linux SSH远程文件/目录传输命令scp
出处：http://www.vpser.net/manage/scp.html 相信各位VPSer在使用VPS时会 经常在不同VPS间互相备份数据或者转移数据，大部分情况下VPS上都已经安装了Nginx或者类似的web server，直接将要传输的文件放到web server的目录，然后在目标机器上执行：wget http://www.vpser.net/testfile.zip 就行了...
2013-12-19 09:51:55
174
原创 Google Protocol Buffers浅析（一）转载
原文出处：http://www.cnblogs.com/royenhomeGoogle Protocol Buffers浅析（一） 本文主要偏向于介绍怎么使用Google的Protocol Buffer技术来压缩与解析你的数据文件，更加详细的信息请参阅Google开放的开发者网页文档，地址为：http://code.google.com/apis/protocolbuffe...
2013-12-11 14:44:38
116
原创 Apache Thrift - 可伸缩的跨语言服务开发框架
转载自：http://www.ibm.com/developerworks/cn/java/j-lo-apachethrift/ 简介： Apache Thrift 是 Facebook 实现的一种高效的、支持多种编程语言的远程服务调用的框架。本文将从 Java 开发人员角度详细介绍 Apache Thrift 的架构、开发和部署，并且针对不同的传输协议和服务类型给出相应的 Ja...
2013-12-10 21:50:47
114
原创 Linux下高并发socket最大连接数所受的各种限制
Linux下高并发socket最大连接数所受的各种限制 12/06. 20131、修改用户进程可打开文件数限制在Linux平台上，无论编写客户端程序还是服务端程序，在进行高并发TCP连接处理时，最高的并发数量都要受到系统对用户单一进程同时可打开文件数量的限制(这是因为系统为每个TCP连接都要创建一个socket句柄，每个socket句柄同时也是一个文件句柄)。可使用ulim...
2013-12-10 10:21:20
136
原创 python网络框架twisted TCP客户端连接服务端例子
服务端：from twisted.internet import reactorfrom twisted.internet.protocol import Factory,Protocolclass Echo(Protocol): def connectionMade(self): self.transport.write('hello y...
2013-12-06 15:00:15
516
原创 常用Python第三方库 简介
如果说强大的标准库奠定了python发展的基石，丰富的第三方库则是python不断发展的保证，随着python的发展一些稳定的第三库被加入到了标准库里面，这里有6000多个第三方库的介绍：点这里或者访问：http://pypi.python.org/pypi?%3Aaction=index。下表中加粗并且标红的都是我平时使用较多的一些第三方库。（P.S.CSDN的这个表格功能太难用了，改HT...
2013-12-04 16:45:37
324
原创 linux环境安装python
默认情况下 Linux环境自带python环境 可能是2.4版本 ，如果想安装新版本 可以用如下方法 1、 mkdir python #创建一个文件夹 2、 wget http://www.python.org/ftp/python/2.7.6/Python-2.7.6.tgz #下载源代码包3、tar -zxvf Python-2.7.6.tgz #进行解压 ，如果解压失...
2013-11-30 22:48:25
54
原创 windows环境安装Python
1、python下载地址http://www.python.org/ 下载2.7版本python 2、配置环境变量 path=C:\Python27\Scripts;C:\Python27 3、下载setuptools 0.6c11 地址 https://pypi.python.org /pypi/setuptools/0.6c11#downloads ...
2013-11-27 21:14:17
95
原创 Hive数据仓库准备地震局测试数据
安装部署可以参考：http://blog.fens.me/hadoop-hive-intro/ 非常详细 下面介绍如何准备测试数据 ： 到hive>环境 输入命令：1、创建表 create table if not exists dzj(riqi string,shijian string ,jingdu string,weidu string ,zjlx stri...
2013-11-23 22:14:37
122
原创 mysql启动异常mysql.sock
启动mysql错误解决方案，学会查看错误日志：mysql.sock丢失，mysqld_safe启动报错转载自：http://www.cnblogs.com/super-lucky/p/superlucky.html本人还是个菜鸟，下面是我的经验之谈，能解决一些问题，有不对的地方，敬请斧正。我的是CentOS6.3+MySQL5.1.57。重启了一次服务器后，使用> my...
2013-11-23 13:33:25
138
原创 从mysql导入数据到hdfs
测试sqoop能否成功连接宿主机器上的mysql： sqoop list-tables --connect jdbc:mysql://机器名或IP:3306/sqoop --username sqoop --password sqoop 从mysql导入数据到Hdfs命令 ： sqoop import --connect jdbc:mysql://机器名...
2013-11-07 22:44:47
355
原创 Flume客户端发送log4j日志到HDFS配置文件
agent1.sources = source1agent1.sinks = sink1agent1.channels = channel1# Describe/configure source1agent1.sources.source1.type = avroagent1.sources.source1.bind = AY1307200004001547efZagent1.sources.so...
2013-11-06 22:13:18
151
原创 Flume接收Log4j日志 发送到控制台
第一步：新建flume.conf配置文件内容如下： agent1.sources = source1agent1.sinks = sink1agent1.channels = channel1# Describe/configure source1agent1.sources.source1.type = avroagent1.sources.source1.bind = AY1...
2013-11-05 20:55:40
623
原创 使用Flume NG构建数据收集系统(第一部分 Flume介绍) 转载
转载自：http://blog.csdn.net/xiaochawan/article/details/8986489 好文章，留下备忘。 Flume是什么 收集、聚合事件流数据的分布式框架通常用于log数据采用ad-hoc方案，明显优点如下：可靠的、可伸缩、可管理、可定制、高性能声明式配置，可以动态更新配置提供上下文路由功能支持负载均衡和...
2013-11-05 15:47:22
102
原创 Hadoop v2 时代正式到来（）
转载自：http://www.iteye.com/news/28387Apache基金会近日正式发布了Hadoop 2.2版本，该版本是Hadoop 2.x分支中的首个稳定版本（2.0.x为alpha版本，2.1.x为beta版本），标志着Hadoop 2时代的正式到来。 Apache建议用户升级至最新版本，因为这个版本更加稳定，并保持与之前版本API和相关协议条款的兼容。与Hado...
2013-10-24 09:29:18
128
原创 Hadoop工具生态系统指南
Hadoop工具生态系统指南 Hadoop工具生态系统生长迅速，以下是IT经理网整理的最新Hadoop工具资源，供IT经理日常参考，欢迎读者来信或留言补充。 HadoopApache hadoop项目负责开发可靠的、可扩展的分布式计算开源软件。网址：hadoop.apache.org HDFS分布式文件系统提供高速的应用数据访问。网址：hadoop...
2013-10-24 09:26:20
83
原创 HBase性能调优（转载）
原文链接：http://kenwublog.com/hbase-performance-tuning因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如有错误，欢迎指正。配置优化zookeeper.session.timeout默认值：3分钟（180000ms）说明：Re...
2013-09-17 10:51:08
75
原创 Protocol Buffer的安装与使用
Protocol Buffer的安装与使用 转载请注明作者与出处：franciscolv. http://www.cnblogs.com/franciscolv/archive/2012/05/05/2485348.html 。 最近要在产品中改进对象的序列化了。以前用的是java默认序列化实现功能，在产品上线之前要对关键的对象进行序列化/反序列化优化，以期改善存储效...
2013-09-16 10:37:10
74
原创 无法启动Hbase hbase-default.xml file seems to be for and old version of HBase
无法启动Hbase错误如下Exception in thread "main" java.lang.RuntimeException: hbase-default.xml file seems to be for and old version of HBase (@@@VERSION@@@), this version is 0.92.1 at org.apach...
2013-09-15 11:58:45
390
原创 两分钟学会在GitHub托管代码 (转载)
本篇博客针对不会Git的小童鞋，大神们可以绕过，错误之处谢谢指正；关于GitHub的强大此处不在说明，知道GitHub也有一段时间了,但是一直苦于不会使用。本篇文章介绍的是如何将工程代码托管到上面；如果你还没注册GitHub账号请到https://github.com/上注册如果你已经注册GitHub账号，在你的电脑上安装了GitHub,而一直还没上传过代码1.打开浏览器登...
2013-09-13 09:08:09
61
原创 maven环境配置（转载）
----------------准备工作-------------Jdk 1.5以上java开发环境。Eclipse IDE 一个。Maven 3.0.3下载地址： http://maven.apache.org/docs/3.0.3/release-notes.html----//快速搭建步骤 第一步：配置maven环境 将下载文件解压，然后设置mav...
2013-09-11 22:25:49
56
原创 HBase行健设计策略（三）（未完成）
在设计HBase表时，行健是非常重要的事情。行健决定了访问HBase表时可以得到的性能。关系型数据库可以在多个列上建立索引，但HBase只能在键上建立索引，访问数据的唯一办法是使用行健，如果不知道想访问的数据的行健，就必须扫描相当多的行。...
2013-09-08 15:50:27
90
原创 HBase分布式数据库简介（一）
一、 简介historystarted by chad walters and jim2006.11 G release paper on BigTable2007.2 inital HBase prototype created as Hadoop contrib2007.10 First useable Hbase2008.1 Hadoop become Apa...
2013-09-08 15:40:49
139
原创 HBase快速安装单机版（二）
单机版 安装版本：0.94.10 第一步：wget http://mirror.bit.edu.cn/apache/hbase/hbase-0.94.10/hbase-0.94.10.tar.gz 第二步：tar xvfz hbase-0.94.10.tar.gz 第三步：cd hbase-0.94.10 修改conf文件夹下的hbase-site.xml文件，添加下...
2013-09-08 15:07:17
80
原创 nginx+tomcat中server配置
一般利用nginx做代理，在nginx.conf中 server { listen 80; server_name localhost; root /home/mysite/public_html; location / { index index.html ...
2013-08-19 09:57:30
160
原创 消息队列的定义，以及引入消息队列可解决的问题
消息队列的定义，以及引入消息队列可解决的问题 1. 消息队列中的“消息”即指同一台计算机的进程间，或不同计算机的进程间传送的数据；“消息队列”是在消息的传输过程中保存消息的容器。 消息被发送到队列中，消息队列充当中间人，将消息从它的源中继到它的目标。2. 传统的进程通信模式如图1左所示：client调用service，等待service的响应。但是这种模式有很多弊端： -网络情况...
2013-07-15 15:18:00
321
原创 solr使用 备忘录 草稿
一、基础配置官网下载： http://lucene.apache.org/solr/我下载下载版本是apache-solr-3.6.2 第一步：复制apache-solr-3.6.2\example\solr 文件夹到Tomcat7的根目录第二步：复制apache-solr-3.6.2\example\webapps\solr.war 到Tomcat7的webapps目录下...
2013-06-04 16:02:04
86
原创 Redis作者谈Redis应用场景
Redis作者谈Redis应用场景 毫无疑问，Redis开创了一种新的数据存储思路，使用Redis，我们不用在面对功能单调的数据库时，把精力放在如何把大象放进冰箱这样的问题上，而是利用Redis灵活多变的数据结构和数据操作，为不同的大象构建不同的冰箱。希望你喜欢这个比喻。 下面是一篇新鲜出炉的文章，其作者是Redis作者@antirez，他描述了Redis比较适合的一些应...
2013-05-30 15:00:07
85
原创 QuartZ Cron表达式
CronTriggerCronTriggers往往比SimpleTrigger更有用，如果您需要基于日历的概念，而非SimpleTrigger完全指定的时间间隔，复发的发射工作的时间表。 CronTrigger，你可以指定触发的时间表如“每星期五中午”，或“每个工作日9:30时”，甚至“每5分钟一班9:00和10:00逢星期一上午，星期三星期五“。 即便如此，SimpleTrigger一样...
2013-05-28 14:56:24
118
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人