- 博客(23)
- 资源 (12)
- 收藏
- 关注
转载 设置自动清理mysql binlog日志和手动删除的方法
MYSQL主从复制(replication)采用 RBR 模式后,binlog的格式为"ROW",能解决很多原先出现的主键重复问题。在一个繁忙的master db server上,binlog日志文件增长速度很快,如果不定时清除,硬盘空间很快就会被充满。设置自动清理mys
2011-09-29 12:47:29 6896
原创 hive优化总结
1.当hive执行join内存溢出时,可以修改hive的配置文件hive-site.xml,增大内存,如下: mapred.child.java.opts -Xmx 1024m2.hive默认建表时的路径也可以在hive-site.xml里配置,如下: hive.meta
2011-09-22 16:35:46 7504
原创 用hive+hdfs+sqoop分析日志的步骤
现在的部分工作是进行日志分析,由于每天的日志压缩前80多G左右,用lzop压缩后10G左右,如果用shell直接进行统计,需要花费很长时间才能完成,而且还需要用java函数对request url进行转换,于是采用hive+hdfs+sqoop方案进行日志统计分析hadoop
2011-09-22 15:58:05 10958 1
转载 Mysql点滴-MYSQL字符数字转换
1.将字符的数字转成数字,比如'0'转成0可以直接用加法来实现例如:将pony表中的d 进行排序,可d的定义为varchar,可以这样解决select * from pony order by (d+0)2.在进行ifnull处理时,比如 ifnull(a/b
2011-09-21 14:48:31 3285
转载 awk是命令还是编程语言
一,什么是awkawk是linux下的一个命令,他对其他命令的输出,对文件的处理都十分强大,其实他更像一门编程语言,他可以自定义变量,有条件语句,有循环,有数组,有正则,有函数等。他读取输出,或者文件的方式是一行,一行的读,根据你给出的条件进行查找,并在找出来的行中进行操作,
2011-09-21 10:46:32 980
转载 实例详细说明linux下去除重复行命令uniq
一,uniq干什么用的文本中的重复行,基本上不是我们所要的,所以就要去除掉。linux下有其他命令可以去除重复行,但是我觉得uniq还是比较方便的一个。使用uniq的时候要注意以下二点1,对文本操作时,它一般会和sort命令进行组合使用,因为uniq 不会检查重复的行,除
2011-09-21 10:31:17 3789
转载 hadoop safemode 的设置
解决方法:NameNode在启动的时候首先进入安全模式,如果datanode丢失的block达到一定的比例(1-dfs.safemode.threshold.pct),则系统会一直处于安全模式状态即只读状态。dfs.safemode.threshold.pct(缺省值0.
2011-09-21 08:57:29 3967
转载 awk中的NR和FNR的区别
一,NR和FNR的不同NR:表示当前记录数FNR:也表示当前记录数,但是FNR的作用域只在一个文件内.如果重新打开文件,FNR会从1开始.二,实例说明1,测试文件aaa,cccc[root@Blackghost test2]# cat aaa &
2011-09-20 16:17:20 2151
转载 shell字符串操作方法,以及实例
每一种语言都有他独自的字符串操作方法,shell也一样,下面以以例子的方式,简单介绍常用方法。1,取得字符串长度string=abc12342341 //等号二边不要有空格echo ${#string} //结果11e
2011-09-20 16:14:17 1055
转载 shell循环,判断介绍,以及实例
shell的循环主要有3种,for,while,untilshell的分支判断主要有2种,if,case一,for循环#!/bin/bashfor file in $(ls /tmp/test/mytest |grep sh) //for in格式是s
2011-09-20 15:13:40 2009
转载 awk中RS,ORS,FS,OFS区别与联系
学习awk时,一定要记得动手去实践,只有在实践中才能发现问题,以下就我在学习中和实践中的经验,总结一下RS,ORS,FS,OFS的区别和联系。一,RS与ORS1,RS是记录分隔符,默认的分隔符是\n,具体用法看下[root@krlcgcms01 mytest]#
2011-09-20 14:25:23 2702
转载 实例说明shell i/o常用重定向
每个打开的文件都会被分配一个文件描述符.stdin (键盘), stdout (屏幕), 和 stderr (错误消息输出到屏幕上)的文件描述符分别是0, 1, 和 2. 对于正在打开的额外文件, 保留了描述符3到9.文件描述符是文件系统为了跟踪这个打开的文件而分配给它的一个
2011-09-20 13:53:49 614
原创 seq用法详解
seq – print a sequence of numbersseq命令的作用就是打印出一串有序的数字,它主要有以下3个参数构成:-f, –format=FORMAT use printf style floating-point FORMAT (defa
2011-09-20 11:43:04 2286
转载 RHEL/CentOS 5.x使用yum快速安装MySQL 5.5.x
1、安装MySQL 5.5.x的yum源:rpm -Uvh http://repo.webtatic.com/yum/centos/5/latest.rpm2、安装MySQL客户端的支持包:yum install libmysqlclient15 --enab
2011-09-19 13:15:03 2250
转载 hive中简单介绍分区表
hive中创建分区表没有什么复杂的分区类型(范围分区、列表分区、hash分区、混合分区等)。分区列也不是表中的一个实际的字段,而是一个或者多个伪列。意思是说在表的数据文件中实际上并不保存分区列的信息与数据。下面的语句创建了一个简单的分区表:create table p
2011-09-15 15:34:12 32757 1
转载 python输出中文
1。在程序头包含:# -*- coding: utf-8 -*-#!/usr/bin/python# -*- coding: utf-8 -*-2。保存的时候,存成utf-8格式,因为python内部用的是unicode编码,而且最好是保存是把bom标志去掉。
2011-09-12 21:40:28 1604
原创 python 去除 list 重复元素
比较容易记忆的是用内置的setl1 = ['b','c','d','b','c','a','a']l2 = list(set(l1))print l2 还有一种据说速度更快的,没测试过两者的速度差别l1 = ['b','c','d','b','c','a'
2011-09-12 20:53:49 31591
转载 CentOS开机自动运行程序的脚本
有些时候我们需要在服务器里设置一个脚本,让他一开机就自己启动。方法如下:cd /etc/init.dvi youshell.sh #将youshell.sh修改为你自己的脚本名编写自己的脚本后保存退出。在编写脚本的时候,请先加入以下注释#add for ch
2011-09-11 14:56:53 50684 1
转载 Python多行注释技巧
Python语言本身是没有注释多行的支持的,如果需要注册多行,可以用一个取巧的方法,就是把需要注释的代码块用三个单引号或者双引号括起来,赋值为一个永远都不会使用的字符串变量,例如:__devilcomment = '''if bCmpLog == "True":
2011-09-10 09:18:48 23892
转载 hive.cli.print.header参数介绍
通过参数hive.cli.print.header可以控制在cli中是否显示表的列名。hive> drop table t04;OKTime taken: 2.177 secondshive> create table t04(id int,name string
2011-09-09 21:43:47 13991
转载 Hadoop关于处理大量小文件的问题和解决方法
小文件指的是那些size比HDFS的block size(默认64M)小的多的文件。如果在HDFS中存储小文件,那么在HDFS中肯定会含有许许多多这样的小文件(不然就不会用hadoop了)。而HDFS的问题在于无法很有效的处理大量小文件。任何一个文件,目录和block,在HD
2011-09-08 13:28:52 1033
转载 kill命令用法
1、用kill命令重启ssh进程在修改完/etc/ssh/sshd_config配置文件后,希望重启sshd服务,通常可以用下面的方法:ps aux | grep sshd #查看ssh的进程IDkill -HUP [ID] #重启sshd
2011-09-07 06:48:38 1452
转载 Hadoop Shell命令
调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中
2011-09-05 13:51:19 895
hbase 0.90 cloudera3u3修改包
2013-01-25
nginx-fcgi.txt
2011-03-16
打印页面插件
2007-11-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人