2013年12月_anssummer

原创 hadoop简介

大数据炙手可热！hadoop是一个大数据分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高

2013-12-29 16:53:13 544

原创 HADOOP基本操作命令

启动与关闭启动HADOOP1.进入HADOOP_HOME目录。2.执行sh bin/start-all.sh关闭HADOOP1.进入HADOOP_HOME目录。2.执行sh bin/stop-all.sh文件操作Hadoop使用的是HDFS，能够实现的功能和我们使用的磁盘系统类似。并且支持通配符

2013-12-29 15:33:39 715

转载 Hadoop之php脚本调用

原则上，Hadoop是可以支持几乎任何语言的。原文链接：http://rdc.taobao.com/team/top/tag/hadoop-php-stdin/用PHP写hadoop的mapreduce程序Posted by 覃健祥 on 03月 28th, 2011Hadoop本身是Java写的，所以，给hadoop写mapreduce，人们会自然地想到

2013-12-29 15:31:50 672

原创 awk用法小结

在awk进行文本处理时候，我们可能会遇到。将多行合并到一行显示问题。有点象sql里面，经常遇到的行转列的问题。这里需要用到next语句。 awknext语句使用：在循环逐行匹配，如果遇到next,就会跳过当前行，直接忽略下面语句。而进行下一行匹配。text.txt 内容是：abcde [chengmo@centos5 shell]$ awk

2013-12-25 23:52:58 812 1

原创 linux中强大的screen命令

今天发现了一个“宝贝”，就是Linux的screen命令，对于远程登录来说，不仅提供了类似于nohup的功能，而且提供了我非常喜欢的“多个桌面”的功能。平常开一个putty远程登录，经常需要在两个程序之间来回切换，怎么办？ctrl-z和fg、bg？这些太麻烦了。其实我们可以借助screen命令来实现轻松便捷的切换。我主要是参考了下面的两篇文章（附在结尾），我自己总结的方法是：

2013-12-24 10:42:07 609

转载 shell学习经典

七种文件类型d 目录 l 符号链接s 套接字文件 b 块设备文件c 字

2013-12-22 12:30:46 764

原创 sed中关于pattern space和hold space

sed的用法是： sed OPTIONS... [SCRIPT] [FILE...]简单说下sed的工作流程。pattern space和hold space默认都是空的。sed读入一行内容，删除尾部的换行符，存入pattern space, 然后执行SCRIPT，如果OPTIONS里没有 -n, pattern space里的内容会被输出到stdout（若读入时含有换行，这里会输出换

2013-12-22 12:22:09 1115 1

原创 vim文本对齐命令

要使一定范围包括的行居中，用以下命令::{range} center [width] {range} 即是那些通常命令所能指定的范围。 [width] 是一个可选项，用来确定要居中的行的宽度。如果没有指定 [width]，则默认使用 'textwidth' 的值。(如果'textwidth' 是 0，则默认为 80。)例如::1,5center 40 将

2013-12-22 12:06:41 1708

原创 vimball

vimball是一个vim插件，可以很方便地帮你安装vba格式的插件。首先安装vimball，下载后解压到与gvim.exe相同的目录下面，貌似vim自带有vimball（vim7.3自带），这样安装可以覆盖掉自带的旧版本。安装完毕后。直接用vim打开vba格式的文件，输入:so %即可安装，然后:q退出。删除插件也很方便，直接在vim里输入:RmVimball 插

2013-12-22 02:06:48 710

原创 linux之sed用法

sed是一个很好的文件处理工具，本身是一个管道命令，主要是以行为单位进行处理，可以将数据行进行替换、删除、新增、选取等特定工作，下面先了解一下sed的用法sed命令行格式为： sed [-nefri] ‘command’ 输入文本常用选项： -n∶使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN的资料一般

2013-12-21 19:14:18 547

原创 linux man

学linux，在遇到很多问题上，都要找man。今天就熟悉一下man。1.简单的用法，就是man (xxx)。如果记不清楚工具或者函数的完整名字，可以考虑用-k参数，例如，查找和printf有关的帮助：man -k printfapropos printf如果还有一些其他的约束信息，可以用grep过滤一下man

2013-12-21 18:16:26 662

原创 linux tree

linux下tree命令详解---linux以树状图逐级列出目录的内容命令##############################################################################################命令格式tree ###################################################

2013-12-21 18:03:53 561

原创所有基础问题写到这里

1.cmd里,怎么快速黏贴?打开cmd后右键点标题栏，在弹出的选项里选“属性”，打开“选项”选项卡，选择“编辑选项”中的“快速编辑模式” 这样以后如果要在cmd中粘帖，只需要在cmd中点一下右键就可以了。2.3.4.5.6.

2013-12-21 17:43:34 550

转载 linux常用快捷键

命令行编辑快捷键　　history 显示命令历史列表　　↑(Ctrl+p) 显示上一条命令　　↓(Ctrl+n) 显示下一条命令　　!num 执行命令历史列表的第num条命令　　!! 执行上一条命令　　!?string? 执行含有string字符串的最新命令　　Ctrl+r 然后输入若干字符，开始向上搜索包含该字符的命令，继续按Ctrl+r，

2013-12-21 14:49:15 677

原创常识

一.市盈率:市盈率简单的算法就是股价除以每股收益,比如银行股,目前平均6倍左右的市盈率,意思是股价是每股收益的6倍,但是钢铁目前是70倍左右的市盈率,也就是说股价是每股收益的70倍。有人把市盈率比成人的年龄,20倍,表明大约在20倍左右,充满青春活力,60倍,已经要退休了,跑不动了。这个比喻很生动。大部分人都知道市盈率越低越好,购买低市盈率的股票会更加安全。究竟是不是这样呢?我们通过7

2013-12-21 11:23:39 631

原创 MySql索引的一个技巧

索引的建立，直接会影响到查询性能。看下面的查询：select * from ddd where id>1 order by score;我们查询学号大于1的学生的各科成绩得分。那么按照一般的思路，是这样建立索引的(id,score)。explain一下：[sql] view plaincopymysql> ex

2013-12-20 01:20:39 596

原创 awk中的getline的用法

NR与FNR：QUOTE:A．awk对多输入文件的执行顺序是，先将代码作用于第一个文件（一行行读入），然后该重复的代码又作用于第二个文件，再作用于第三个文件。B．awk对多输入文件的执行顺序产生了行序号的问题。当第一个文件执行完，下次读入第二个文件，那么第二个文件的第一行怎么算呢？如果又计为1的话，那不就两个1了么？（因为第一个文件也有第一行）。这就是NR和FNR的问题。

2013-12-20 01:16:20 1484

原创 MySql批量drop table

今天发现数据库中很多没用的表，想清理掉。发现mysql好像不支持类似这样的写法：drop table like "%r"在oracle中，查了资料，是可以通过其他方式来实现：看这里【我顶！链接丢了！】那么想在mysql中实现，怎么做呢？两个思路：第一、修改mysql源码，在drop的时候加上like关键字支持。第二、写一个脚本，在数据库之外执行。------------

2013-12-20 01:15:36 837

原创 LINUX下把多行文件合并成一行，并组装成SQL

先说一下适用的场景，市场部那边希望看到某些商品中“黄牛”用户的活动情况，以及“黄牛”使用代金券的情况，然后发一个excel文件过来，拿到文件先复制到notepad++中，格式类似：id name price1 name1 price12 name2 price23 name3 price34 name4 price45 name5 p

2013-12-20 00:52:05 1103

原创以某个表为基准连表查询分析

mysql> select * from test1;+------+| c1 |+------+| a || b || c || d |+------+4 rows in set (0.00 sec)mysql> select * from test2;+------+| c1 |+------+|

2013-12-18 02:29:51 957

转载 MySQL统计函数GROUP_CONCAT陷阱

本博客所有原创文章采用知识共享署名-非商业性使用-相同方式共享，转载请保留链接http://chaoqun.17348.com/2008/12/mysql-trap-of-group-concat/最近在用MySQL做一些数据的预处理，经常会用到group_concat函数，比如类似下面一条语句mysql>select aid,group_concat(bid) from tb

2013-12-18 01:22:15 679

原创 MySQL_使用group_distinct后_如何得到总记录数（行数）

问题：使用了group或者distinct等后，如何得到查询结果的总记录数？ --要求，不使用子查询分析：如果没有group，count(*) 就可以了。但是，使用了就不同了。数据库里使用统计函数，针对的是group。这个时候，如何得到查询结果记录总数，是个问题。可行性分析：这个问题有解么？如果不可能的事情，就别搞了，例如永动机，3等分等问题。

2013-12-17 20:58:07 941

原创 svn命令行faq

在Windows下面大家经常用的是到的客户端是tortoisesSVN ，这个图形工具很强大，但是也有一些缺陷。例如使用tortoiseSVN不能进行svn cp, svn mv以及批量进行文件属性的修改等的操作，而这些通过Subversion命令行工具可以很轻松的实现。还有tortoiseSVN为了能够实时地在资源管理器上显示当前被管理文件地状态信息，会使用TSVNCache.e

2013-12-17 09:56:10 700

原创 vim的cscpose插件

个人觉得cscope插件是所有vim插件中最强大的一个，使用它给我带来的方便，快捷以及灵活性，使我的日常软件开发效率和读代码的效率提高了许多。在给它投票时，我投了Life Change，是的，它改变了我的生活。Cscope最先由MIT的研究人员开发，也算是系出名门。它能够完成什么样的功能呢？我先简单的列举几条：1、在函数调用点快速跳转到函数定义处，反之亦然。如果有多个调用点，会以列表形

2013-12-17 09:39:43 659

原创 vim 粘贴取消缩进

Vim 复制粘贴探秘Vim 作为最好用的文本编辑器之一，使用vim来编文档，写代码实在是很惬意的事情。每当学会了vim的一个新功能，就会很大地提高工作效率。有人使用vim几十年，还没有完全掌握vim的功能，这也说明了vim的强大。而这样何尝不是一件好事呢，只要有的学习，就有的提高。最近使用Vim来写博客，发现在Vim中粘贴Python代码后，缩进就全乱了。仔细研究了以下，原来是自动缩

2013-12-17 01:44:47 1358

转载 Using Vim's paste mode with the system paste command

本文转自:http://vimcasts.org/episodes/using-vims-paste-mode-with-the-system-paste-command/If you copy this snippet of JavaScript, then use the system paste command (ctrl-v, or cmd-v for mac users)

2013-12-17 01:43:02 704

原创 meld是个好工具

在linux上使用meld工具作代码对比，比svn的文本好看很多，如果不能登陆linux的XFree等图形界面，需要借助VNC等图形界面来登陆，因为SecureCRT无法打开图形。有二种方式安装meld，一是使用yum或rpm安装meld，另一种是直接下载meld的bin包。在家里的Fedora使用了yum安装好meld，由于公司服务器redhat我没有root，无法安装，而公司我

2013-12-16 19:59:10 2097

原创 lbs学习心得

1.搭建pal环境教程:http://wiki.babel.baidu.com/twiki/bin/view/Com/Test/PlaceQAPalEnv 问题:503 错误解决办法: 曲线上把搭建好的环境的配置文件拷贝过来,重新启动,一切搞定.2.

2013-12-15 19:09:35 907

原创 shell常用命令

打印历史记录中最后一次cat命令：!cat:p运行最后一个命令(如果最后一个命令是mkdir /root/test, 下面将会运行: sudo mkdir /root/test)：sudo !!创建空文件或清空一个现有文件：> test.txt重复运行文件，显示其输出（缺省是2秒一次）：watch ps -ef所有用户列表：getent pa

2013-12-11 00:47:43 953

原创 linux 检测远程端口是否打开

检测远程端口是否打开方法1:telnet 110.101.101.101 80方式测试远程主机端口是否打开。除此之外还可以使用：方法2.nmap ip -p port 测试端口nmap ip 显示全部打开的端口根据显示close/open确定端口是否打开。方法3. nc -v host port端口未打开返回状态为非0

2013-12-11 00:34:53 4405

原创 mysql获取系统当前的数字形式时间值

mysql> select UNIX_TIMESTAMP(); 　　2 -> 882226357 3 mysql> select UNIX_TIMESTAMP('1997-10-04 22:23:00'); 　　4 -> 8759965805 mysql> select UNIX_TIMESTAMP

2013-12-09 19:34:01 1877

原创在shell脚本中包含php

有时候我们可能需要在其他语言编写的Shell脚本中包含PHP编写的Shell脚本。其实非常简单，下面是一个简单的例子：　　#!/bin/bash 　　echo This is the Bash section of the code. 　　/usr/local/bin/php -q 　　　　print("This is the PHP section of the c

2013-12-08 23:43:09 713

转载 here_doc 原著

转自:http://tldp.org/LDP/abs/html/here-docs.htmlAdvanced Bash-Scripting Guide:Prev NextChapter 19. Here Documents Here and now, boys.--Aldous Huxley, Island

2013-12-08 23:42:43 900

原创 shell read

linux shell -- read概述：read命令 -d[输入结束字符，默认结束符是换行] -p("提示语句") -n[字符个数] -t(等待时间) -s(不回显)

2013-12-08 23:29:46 572

转载 Use 'heredoc' in shell scripts

Linux users who work with large blocks of text may want to consider using heredoc. Find out how to use heredoc in a single statement to print many lines of text in a shell script. A lesser-known

2013-12-08 22:56:50 863

原创用php实现ftp传输

$conn_id = ftp_connect（"$your_ftp_server"）； // login with username and password $login_result = ftp_login（$conn_id, "$ftp_your_name", "$ftp_your_password"）； // check connect

2013-12-08 22:18:48 815

转载 PHP中刷新输出缓冲详解

buffer是一个内存地址空间,Linux系统默认大小一般为4096(1kb),即一个内存页。主要用于存储速度不同步的设备或者优先级不同的设备之间传办理数据的区域。通过buffer，可以使进程这间的相互等待变少。这里说一个通俗一点的例子，你打开文本编辑器编辑一个文件的时候，你每输入一个字符，操作系统并不会立即把这个字符直接写入到磁盘，而是先写入到buffer，当写满了一个buffer的时候，才会

2013-12-08 17:26:23 745

原创编译php源码时,怎么加上自定义的一些扩展

wget https://github.com/php/php-src/archive/PHP-5.3.17.zipunzip PHP-5.3.17.zipGet mysqlnd_qc:wget http://pecl.php.net/get/mysqlnd_qc-1.1.1.tgztar -zxvf http://pecl.php.net/get/mysqlnd_qc-1.1.1

2013-12-08 10:43:58 759

原创 mysqlnd插件mysqlnd_ms和mysqlnd_qc的介绍

一.首先,mysqlnd是啥个玩意?为什么要使用mysqlnd原来的libmysql用的好好的，为什么还要搞一个mysqlnd出来呢？原因一: license问题libmysql是MYSQL AB公司开发的，现在已经是Oracle集团所属的了，它使用MYSQL license发布。This ultimately led to MySQL support being disabl

2013-12-08 10:38:45 1105

原创 xshell设置

1.自定义复制快捷键每次按shift+Inset很麻烦,改为一个键直接黏贴2.打开文件,中文乱码设置xshell本身编码为utf-8,在vim中设置set encoding=utf-8即可.

2013-12-08 01:41:28 763

空空如也

空空如也