- 博客(11)
- 资源 (30)
- 收藏
- 关注
原创 window 下PHP redis扩展插件
window 下PHP redis扩展插件地址:http://pecl.php.net/package/redis/2.2.7/windows
2015-12-29 10:57:51 733
原创 hive 报:java.net.NoRouteToHostException: 没有到主机的路由
这种没有到主机的路由问题屡见不鲜了,一般要么是namenode 与 datanode 主机名间本身互ping就ping不通,这个概率较小,因为都知道要保证master与slaves 节点是能正常通信,所以都会检查。那么最有可能就是防火墙没有关闭,或者因为查看不出防火墙状态,所以误以为防火墙关闭了。解决方案:(1)从namenode主机ping其它slaves节点的主机名(注意是sl
2015-12-21 15:33:59 6047
原创 Tcp 连接出现大量 ESTABLISHED 连接
问题描述:在不考虑系统负载、CPU、内存等情况下,netstat监控大量ESTABLISHED连接与Time_Wait连接。# netstat -n | awk '/^tcp/ {++y[$NF]} END {for(w in y) print w, y[w]}'CLOSE_WAIT 348ESTABLISHED 1240TIME_WAIT ...
2015-12-14 16:31:53 75603 6
原创 Hive 设置map 和 reduce 的个数
一、 控制hive任务中的map数: 1. 通常情况下,作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有: input的文件总个数,input的文件大小,集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到,该参数不能自定义修改);2. 举例: a) 假设input目录下有
2015-12-11 17:59:08 2897
原创 Hive命令的3种调用方式
方式1:hive –f /root/shell/hive-script.sql(适合多语句)hive-script.sql类似于script一样,直接写查询命令就行例如:[root@cloud4 shell]# vi hive_script3.sqlselect * from t1;select count(*) from t1;不进入交互
2015-12-11 11:28:25 7094
原创 Hive的文件格式比较
Hive的三种文件格式:TEXTFILE、SEQUENCEFILE、RCFILE中,TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的,RCFILE是基于行列混合的思想,先按行把数据划分成N个row group,在row group中对每个列分别进行存储。另:Hive能支持自定义格式,详情见:Hive文件存储格式基于HDFS的行存储具备快速数据加载和动态负载的高适应能力,
2015-12-10 18:13:56 2365 1
原创 Linux防火墙(iptables)设置
1、关闭所有的 INPUT FORWARD OUTPUT 只对某些端口开放。下面是命令实现:iptables -P INPUT DROPiptables -P FORWARD DROPiptables -P OUTPUT DROP再用命令 iptables -L -n 查看 是否设置好, 好看到全部 DROP 了这样的设置好了,我们只是临时的, 重启服务器还是会恢复
2015-12-09 15:26:06 2724
原创 MySQL的 current_date()
竟然今天才知道,MySQL的 current_date()获取的是当天日期,如:2015-12-07
2015-12-07 16:33:22 24207 1
原创 shell读取文件的每一行
写法一:----------------------------------------------------------------------------#!/bin/bash while read linedo echo $linedone filename(待读取的文件
2015-12-04 10:39:23 2443
原创 Linux下批量修改文件后缀名及shell脚本中匹配文件名称变量写法
rename .txt.COMPLETED .txt *.txt.COMPLETED详细:http://blog.csdn.net/longxibendi/article/details/6387732
2015-12-02 21:27:49 4906
原创 数据分析之UA在线转换工具
http://tool.lu/useragenthttp://www.atool.org/useragent.phphttp://www.useragentstring.com/index.php
2015-12-01 18:14:41 5808
prob工具和messages_zh_CN.properties
2014-04-22
JFreeChart用到的三个JAR
2013-07-10
Firefox, IE5, IE5.5, IE6, IE7, IE8多种浏览器兼容的问题
2011-01-20
动态检索,同时实现拼音检索的三个js 文件:control.js,pinyin.js,pinyincontrol.js
2011-01-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人