- 博客(15)
- 收藏
- 关注
原创 Apache与PHP安装配置
采用的是版本是httpd-2.2.23.tar.gz编译安装的tar -zxvf httpd-2.2.23.tar.gz cd httpd-2.2.23 #其他采用默认的配置参数 ./configure --prefix=/usr/local/apache --sysconfdir=/etc/httpd/conf --enable-modules=so make make install 常会
2013-01-08 12:10:09
796
原创 python连接hive的demo
在部署了两个hive后,分别在namenode和一个datanode上,用nohup hive --service hiveserver &将hive server启动。 Hive server 让Hive提供Thrift服务的服务器形式运行,允许不同的语言编写客户端进行访问。使用Thrift、JDBC、ODBC连接器的客户需要运行hive服务器来和Hive进行通信。通过设置HIVE
2012-12-20 16:09:45
16852
1
原创 Hive 常用操作
hive -f script.q 可以直接运行在脚本中的命令 hive -e 'select * from users' 直接执行SQL语句 hive -S -e 'select * from users' 静默的方式执行,不显示输入信息只显示输出结果 hive -v
2012-12-20 16:05:22
880
原创 linux 系统监控负载命令汇总
1. Top命令 是能够比较全面实时展示进程的资源占用状况,详解参见Linux 系统监控负载top命令详解 2. uptime 不需其他参数,提供使用者下面的信息: 现在的时间 系统开机运转到现在经过的时间 连线的使用者数量 最近一分钟 、五分钟和十五分钟的系统负载 参数。 17:09:52 up 30 days, 23:55, 7 users, load av
2012-08-08 17:17:26
706
转载 Linux 系统监控负载top命令详解
top命令是Linux下常用的性能分析工具,能够实时显示系统中各个进程的资源占用状况,类似于Windows的任务管理器。下面详细介绍它的使用方法。 top - 01:06:48 up 1:22, 1 user, load average: 0.06, 0.60, 0.48 Tasks: 29 total, 1 running, 28 sleep
2012-08-08 16:55:05
2488
原创 Hive安装
安装事项: 一、 解压安装hive-0.7.1.tar.gz 配置HIVE_HOME路径 二、 在HDFS中为HIVE创建相关目录,存放创建表文件数据: 创建并修改权限: hadoop fs –mkdir /tmp hadoop fs –mkdir /user/hive/warehouse hadoop fs
2012-08-05 19:25:45
766
原创 Hadoop2.0 Mapreduce实例WordCount体验
在Hadoop2.0中MapReduce程序的都需要继承org.apache.hadoop.mapreduce.Mapper 和 org.apache.hadoop.mapreduce.Reducer这两个基础类,来定制自己的mapreduce功能,源码中主要的函数如下 Mapper.java public void run(Context context) throws IOExceptio
2012-08-05 14:23:17
8089
原创 Hadoop 键值对的mapreduce过程剖析
Hadoop的Mapreduce是一个分布并行处理大数据的程序框架,一个Map/Reduce 作业(job) 通常会把输入的数据集切分为若干独立的数据块,由 map任务(task)以完全并行的方式处理它们。框架会对map的输出先进行排序, 然后把结果输入给reduce任务。通常作业的输入和输出都会被存储在文件系统中。 MapReduce程序是通过键值对来操作数据的,其
2012-08-04 16:13:39
4341
原创 qq纯真IP库安装及更新
QQ纯真IP库和命令,其主要功能就是把一些网络工具的输出的IP字符串,附加上地理位置信息(使用纯真数据库)。例如218.65.137.1会变成218.65.137.1[广西南宁市电信]。 qqwry.c,qqwry.h。一个c实现的lib,用来从纯真数据库里获取ip地址信息。 nali,一组ip查询工具,包括可以让dig,traceroute显示ip地理信息。
2012-07-26 21:37:03
2411
原创 Linux下 expect命令【应用】
上一篇 Linux下 expect命令【安装】 在安装好expect 和tcl后,我们就可向各个主机中执行相同的命令了,实际上也就是执行的TCL脚本 如下就是一个TCL脚本,相关语法参见 http://www.tcl.tk/man/tcl/tutorial/tcltutorial.html expect.tcl脚本逻辑: 1) 先SSH到所要的执行命令的主机 ,spawn ss
2012-07-25 21:59:57
898
原创 Linux下 expect命令【安装】
一、Expect介绍及应用场景 Expect是一个用来实现自动交互功能的软件套 件(Expect [is a] software suite for automating interactive tools)。使用它系统管理 员的可以创建脚本用来实现对命令或程序提供输入,而这些命令和程序是期望从终端(terminal)得到输入,一般来说这些输入都需要手工输入进行的。
2012-07-25 12:30:46
2040
原创 Hadoop 文件系统API开发编译
【hadoop】java文件的编译运行 Hadoop中Jar包: 对于hadoop的几个Jar包中,最好都添加到Java的环境变量CLASSPATH中去,能免去编译运行时的手动添加的Jar包依赖. CLASSPATH=$CLASSPATH:$HADOOP_HOME/hadoop-core-0.20.203.0.jar export CLASSPA
2012-07-03 12:23:49
1556
转载 Eclipse反编译插件安装
一、前提: 1、已经安装了Eclipse,如我的Eclipse目录:E:\Work_Soft\Eclipse 2、反编译插件包:eclipse 反编译插件_jad 3.3.0.zip 二、步骤: 1、解压反编译插件包“eclipse 反编译插件_jad 3.3.0.zip”; 2、将插件包中的net.sf.jadclipse_3.3.0.jar文件复制到Eclipse的插件目录下(
2012-07-03 11:42:59
523
原创 hadoop安装
安装版本信息: OS :Red Hat Enterprise Linux Server release 5.3 (Tikanga) JDK : Java(TM) SE Runtime Environment (build 1.6.0_25-b06) Hadoop : hadoop-0.20.203.0 一、修改集群hostn
2012-06-21 17:13:11
426
原创 yum 源设置
有很多 操作系统 开源镜像站点,里面有各种版本的操作系统,当然也有很多源包 网易: http://mirrors.163.com/ 搜狐: http://mirrors.sohu.com/ 中科大: http://mirrors.ustc.edu.cn/ LUPA: http://mirror.lupaworld.com/
2012-06-18 17:32:22
435
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人