- 博客(132)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 pig的坑
这么执行 pig 脚本，结果坑不少。pig -f count_active2_day_total.pig -p basedir=in_off/active2 -p total_data=* -p cur_data=2014-02-28第一个坑，参数传递格式。错误curr_data = FILTER last_data by st
2014-03-07 18:35:42
1116
原创 hadoop的datanode新建异常处理
新部署一个节点。部署完毕后，启动datanode,没起来,错误如下：STARTUP_MSG: Starting DataNodeSTARTUP_MSG: host = node-128-99/192.168.1.99STARTUP_MSG: args = []STARTUP_MSG: version = 1.1.2STARTUP_MSG: build = https:/
2013-12-06 17:26:50
1545
原创 ganglia的疑难杂症
配置ganglia系统，发现配置的2个分组里只出现一个。跟踪错误日志如下:/usr/sbin/gmetad[9290]: data_thread() got no answer from any [bf_hbase] datasource但另一个分组没问题。百思不得其解.灵光一闪，由于是多播，只要求配置端口就ok，配置文件如下:data_source "bf_names"
2013-11-28 11:23:05
2927
原创 hadoop的datanode异常结束
集群datanode节点挂掉一个。错误如下:2013-11-18 02:01:13,730 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: DatanodeRegistration(192.168.1.190:50010, storageID=DS-155659652-192.168.1.190-50010-138361974046
2013-11-18 15:39:42
10267
原创 hadoop的"mapred.ReduceTask: java.net.ConnectException: Connection timed out"问题解决
hadoop MR超时问题解决
2013-11-08 10:43:52
3049
原创 hadoop SNN故障解决
集群上线一阵子了。发现SNN 日志有如下问题:2013-10-28 16:38:16,280 INFO org.apache.hadoop.hdfs.server.namenode.TransferFsImage: Opening connection to http://0.0.0.0:50070/getimage?getimage=12013-10-28 16:38:16,281 ER
2013-10-28 17:33:13
3567
原创 Hive的坑
公司集群做了一个迁移。但不久以后，发现，从hive的cli执行命令到从phphiveadmin执行命令，都出现错误。错误如下:-----Diagnostic Messages for this Task:java.io.IOException: java.lang.reflect.InvocationTargetException at org.apache.had
2013-10-18 15:58:49
5378
原创 Hive HA参加阿里云大赛，请大家投票支持
Hive HA 参加2013阿里云大赛，请兄弟姐妹们支持！详细说明见前前面博客。投票地址：http://dasai.aliyun.com/signup/works2013/?search=471
2013-09-23 09:56:52
1755
原创 Hive HA使用说明
hive让大数据飞了起来，不再需要专人写MR。平常我们都可以用基于thrift的任意语言来调用hive.不过爱恨各半，hive的thrift不稳定也是出了名的。很容易就出问题，让人无计可施。唯一的办法就是不断kill,不断restart.当然，我们可以用haproxy来解决这个问题，关键，haproxy不管hive是否逻辑可用，不能执行逻辑的hive也“死马当活马”。当然，搞的好的
2013-09-05 15:33:35
6184
原创 hadoop的集群copy
hadoop不同版本之间的集群复制。1.基础使用hadoop distcp 来进行集群间的数据复制。2.实战如果两个集群之间版本不一样，应该这样来复制。hadoop distcp hftp://source/source hdfs://dest:9000/source为啥是hftp呢，因为不同版本rpc不太一样。如果一个集群闲置，尽量使用它的MR能力。有一个要注
2013-09-05 15:05:21
4306
1
原创 hadoop故障解析
1.出现namenode日志不断增大2.日志发现datanode 出问题2013-09-03 18:11:44,021 WARN org.apache.hadoop.hdfs.StateChange: BLOCK* NameSystem.blockReceived: blk_8094241928859719036_2147969 is received from dead or unreg
2013-09-03 18:33:56
3625
原创 sqoop错误解决
./sqoop import --connect jdbc:mysql://localhost:3306/xxxx --username dba --password 123456 --direct --table ehm_hosts --target-dir /data/ehm_hosts -m1 出现错误: java.net.ConnectExcept
2013-06-25 16:51:21
33029
原创 hbase->phoenix不得不说的故事之一
用hbase来接收数据，phoenix进行sql统计，看起来很美好，实际波折很多。首先建表 CREATE TABLE m_interface_job( data.pk_log VARCHAR ,.......... id INTEGER not null primary key) ;用hbase插入,发现 select id,* from
2013-06-17 17:21:09
7884
2
原创 hive 设置的坑
集成mysql,运行hive。出现: FAILED: Error in metadata: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient FAILED: Execution Error, return code 1 from o
2013-05-22 15:19:02
6818
原创 hive monitor开发经验
由于hive server集群稳定很重要，我们采用了haproxy来保障ha,对单台hive server也需要进行监控。代码如下，(python)#!/usr/bin/env pythonimport sys, os, time, atexit, string,socketfrom signal import SIGTERM from hive_service import
2013-05-08 10:14:48
2279
原创 tr命令那个坑
试试echo "\x2282111" | tr -s "\x22" "'"结果很坑人。 最后用sed解决，sed -e "s/\\\x22/'/g"解决结果写到perl里，也有问题。必须写成 $cmd="sed -e "s/\\\\\\x22/'/g""解决
2013-05-03 18:03:02
987
原创 安装scribe注意
1.必须要安装boost 1.362.安装thrift 0.8 ,不要最新的3.安装完毕thrift 0.8后要进入thrift-0.8.0/contrib/fb303再安装4.出现报错后，vii /usr/local/include/thrift/protocol/TBinaryProtocol.tcc加入 #include
2013-03-27 16:41:34
867
原创 hadoop配置新节点后，出现 org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible n
配置haoop的datanode,启动后，tasktracker正常,datanode出错。 org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in解决方法：删除datanode的datadir,重启datanode,好了！
2013-03-25 17:20:28
2055
原创 hadoop升级
首先停机，更新namenode,datanode上hadoop，然后namenode节点上进行: 915 hadoop namenode -upgrade 916 hadoop namenode -rollback 917 hadoop namenode -upgrade 918 hadoop dfsadmin -finalizeUpgrade 91
2013-03-22 18:20:34
2099
原创 我和移动开发的那点事__记一个好玩的android壁纸游戏诞生记
以前一直认为移动应用方面应该是蓝海一片，自己也梦想着用高超的程序技术来构筑一个非常不错的产品，所以赶紧下海了。第一个作品是图片应用，结果开发出来，发现，图片应用已经泛滥成灾。放到哪里，都是同质化严重，技术的心受到了打击，谁让自己不调研，就开始啃哧的开发啊。 所以，市场为王啊。静下心来，研究了下目前市场的图片应用，发现要不是擦边的美女应用，就是已经做了很久的壁纸大作，这些肯定
2012-10-11 10:54:35
1760
原创 Joomla!和flex开宝箱
<br /> <br /> <br />Flex的小游戏开发现在是如火如荼，偶有心得，不敢独享。特借助《草根》杂志宝贵版面和兄弟姐妹们分享。游戏简介<br />本游戏为joomla!系统的用户提供的一个小娱乐游戏，类似于qq的开宝箱游戏。<br />游戏分为开始，游戏，结束三个场景。<br />玩家进入游戏后，按开始，画面随机出现五个宝箱，用户可以用鼠标点击宝箱，如果运气好的话，箱子打开，并出现各种奖品。否则，画面提示用户手气不佳。用户点击退出，则提示游戏结束。架构简单介绍<br />本文采用服务器端为基于
2010-09-27 21:59:00
1667
原创 php连接oracle百发百中问题解决秘籍
<br /><br /> 最近要使用php连接oracle,被折腾死了。最后终于全部搞定，现将探索过程和解决方法公布出来。<br /> <br />1.首先安装oracle 的客户端,instantclient10_1<br />将其中的dll文件拷贝放入c:/oracle(自己随便取得)<br />将c:/oracle放入环境变量PATH里,一定要重新启动apache<br />在php里配置库,打开选项<br />extension=php_oci8.dll<br /> <br />秘方:如果提示ora
2010-08-10 18:02:00
965
原创 joomla!团队开发!
<br />为什么选用joomla!<br />1.易于使用，功能强大<br />“对于一个不会网络编程的新手，不知道HTTP、HTML、CSS、PHP、ASP等网络语言的用户，要做一个网站简直就是一个不可能的任务！Joomla!系统使这个不可能的任务变得“可能”，而且会让建站旅程变得愉快起来！”<br />-----------摘自《joomla! 建站步步通》<br />2.技术支持强大，开发人员众多<br />“团结就是力量”，Joomla!也是因为支持者众多而力量强大。Joomla!核心支持小组成员
2010-07-11 22:55:00
1815
原创 joomla!支付宝集成注意事项
<br />joomla!支付宝集成注意事项<br />如果joomla!没有开启seo,在支付宝返回校验时候，会出现问题。<br />见<br />alipay_function.php<br />中 <br />function para_filter($parameter) {<br />的<br />if($key == "sign" $key == "sign_type" || $val == "")continue;<br />会出现joomla!的参数也进来了，导致拼串错误，导致生成校验问题
2010-06-24 19:29:00
3243
原创 Joomla!+Nginx+Memcached让网站飞的更快
<br />Joomla!系统以建站的简单方便，获得了大众的喜爱，但是，他“太完美”的内部架构，也带来了执行效率的损失，特别是作为一个大部分内容都为静态的资讯站点，访问每个资讯页让Joomla!每次都“完美”的表演一次，无疑是对效率最大的浪费。<br />对于这个自身的性能缺陷，缓存作为一种解决方案，Joomla!本身已经支持。但是对于追求完美的PHPer来说，应该绝不满足这个，而且在访问上一定规模量的应用场景中，可能Joomla!自身的“缓存绝技”也不能应付。<br />怎么办呢？让我们从每次对Jooml
2010-06-12 23:31:00
6391
原创 joomla!的财富通测试接口出来了！
joomla!的财富通接口试用连接如下：http://www.4fbbs.cn/jm/index.php?page=shop.emu&option=com_virtuemart&vmcchk=1&Itemid=71
2010-04-28 16:58:00
1127
原创 joomla! vm 书籍显示本数设置
mm_showMyFileName( __FILE__ );$limit = 6;shop.browse.php is in /administrator/components/com_virtuemart/html/
2010-04-13 13:32:00
703
原创 Joomla! 的 文章,目录列表如何自定义版面样式
Joomla! 的 文章,目录列表如何自定义版面样式?这个问题很关键，举个例子，如果文章页里要投放广告，目录文章列表里要挂个图，都需要知道。如何做呢，很简单，就是在菜单项里建一个catgory 类型的 菜单，该菜单必须和要定义样式 的文章一个目录，就可以呢。然后作模块布署的时候 ，挂上那个菜单，相应的文章样式 和文章目录列表就生效了。
2010-03-30 15:03:00
3971
原创 joomla! virtuemart 购物车接口调用之入加入购物车
$d[product_id]=17;$d[quantity]=1;$shop=new vm_ps_cart;$shop->add($d);有的时候，会提示:"CartYour Cart is currently empty."1.该产品有附加属性 2.该产品可购买数目为0解决完毕这些问题，就可以成功调用add cart的接口呢。如果不想有ship选项，给产品加一个do
2010-03-26 18:02:00
1770
原创 如何在Joomla!新建菜单类型里快速增加自定义组件类型?
手工增加了一种组件。但是在Joomla!新建菜单类型里看不见该类型。希望快速增加自定义组件类型的一个菜单项，方法很简单。在jos_menu表里增加一条该类型的记录，ok!搞定。再到菜单->新增的界面里就可以看到了。
2010-03-16 17:29:00
3973
原创 joomla!的VirtueMart集成支付宝接口发布，欢迎测试！
支持如下功能：1.后台自定义支付宝参数。2.自定义支付成功或失败后，系统订单状态（发货）.3。支持自定义用户返回后支付界面。4.支持异步和同步两种支付宝通知方式。让您的电子商务确认万无一失。......功能还有很多，欢迎测试。测试地址：http://www.4fbbs.cn/jm/index.php?Itemid=71 为测试起见，最后 支付金额自动变为为1分。后台配置界面:http://ww
2010-03-04 13:58:00
2753
原创 joomla!的virtueMart的产品中文描述乱码解决方法
joomla!的virtueMart的产品中文描述乱码解决方法。很多时候我们想用中文来描述virtueMart的产品明细。但是写入中文，保存却成为乱码。本文几步即可解改问题。1.导出jos_vm_product表，将latin1都改为utf82.修改administrator/components/com_virtuemart/classes/ps_database.php ，
2010-03-02 17:01:00
1790
原创 joomla!的VirtuaeMart和支付宝接口开发心得！
经过调试，vm的return_url已经可以接收支付宝返回参数，并对订单状态作确认。但是notify的通知却调试很久，发现post过来的sign和程序根据post参数发过来的串行成的sign不同!经过调试，发现支付宝的参数中多了几个vm的参数，拿掉就可以！alipay_notify.php改动下，将 para_filter($parameter)的过滤参数加入:while
2010-03-02 13:48:00
2944
3
原创 LAMP企业级架构(一)
基于LAMP的网站在互联网上已经是遍地开花，但是相对于JAVA,.NET的广发应用，还是由于自身的限制，处于草根阶段。不能登堂入室，在企业应用中发扬光大。本文就是基于这点，先分析LAMP的短板，然后提出相应的解决方案。1.LAMP在商务，特别是大容量，可伸缩的数据应用里，要保证交易完整性，金额的正确性，还要应付不确定的突发数据。2.一站式的用户单点登陆系统(SSO)。3.可灵活
2010-02-05 15:20:00
864
原创 Joomla!实战mysql分布事务(二)
分布事务问题经过前面的分布事务的探索,可以确定,采用SQL加mysql xa 分布事务来做基于多个数据库实例的操作,一点问题都没有.但理论是简单的,现实是复杂的!现在项目要采用分布事务,有以下要求:1)分布事务要封装成简单的调用接口,方便调用和调试.2)事务里调用的不仅仅是简单SQL,为稳定和效率起见,要调用的是封装的存储过程! 实现: 经过接口封装,测试代码如
2009-12-11 16:43:00
2986
原创 Mysql分布事务的探索
由于项目需要,对mysql分布事务有一定要求.这里先简单说明必要.假设,日常财务中,要完成一个拥护订购,必须将定单操作和财务操作封在一个事务中才能保证交易完整性.如果定单和财务数据都分布在各自的实例中,则必须用分布事务才能满足.废话不多，进入分布事务探索。(本文例子来自网络，本文只注重探索）1.在本机 localhost和另一台机器上192.168.123.xxx上支持分布事务
2009-11-04 14:47:00
974
原创 Joomla! 系统间同步策略
工作需要将旧系统用户转移到新系统.实现用户从旧系统登陆,可以自动导入到新系统.遇到问题有三个.在旧系统登录后,如何将信息传入新系统,而不会被假冒,并在新系统自动生成用户,进而在新系统实现自动登录.首先,如何从登陆旧系统后传递用户信息到新系统,特别是明文的密码.同时该通信过程要既对新系统透明,又对外要封闭.思路如下,在旧系统中开发一个插件,用户登陆触发,将登陆密码和用户信息存放下来.存放到哪里呢?下
2009-08-18 23:31:00
977
原创 YII框架使用入门到精通
1.安装yii2.测试yii,解决数据库链接错误3.扩展一个应用4.建立数据表5.根据数据表建立model6.生成crud的数据表操作对象7.初步认识yii的MVC架构8.使用controller9.使用view10.开始一个自定义注册表单11.如何使用图形校验码12.如何限制controller里的方法，定义权限13.如何进行sql操作，查询，分页
2009-07-05 01:00:00
1816
1
flink-shaded-hadoop-2-uber-2.7.5-7.0.jar
2020-06-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人