- 博客(13)
- 资源 (3)
- 收藏
- 关注
原创 Mysql 练习题 及 答案
--1.学生表Student(S,Sname,Sage,Ssex) --S 学生编号,Sname 学生姓名,Sage 出生年月,Ssex 学生性别--2.课程表 Course(C,Cname,T) --C --课程编号,Cname 课程名称,T 教师编号--3.教师表 Teacher(T,Tname) --T 教师编号,Tname 教师姓名--4.成绩表 SC(S,C,score) --S 学生...
2016-10-21 11:27:09 47831 39
原创 CentOs mysql 的安装与默认安装目录修改
准备工作1、首先使用 rpm -qa|grep mysql 查看系统是否有自带的mysql2、如果有的话使用 yum remove mysql-server mysql-libs compat-mysql51 卸载掉3、rm -rf /var/lib/mysql rm /etc/my.cnf 4、查看是否还有mysql软件:rpm -qa|
2016-10-14 19:29:45 29167
转载 Hadoop Mapreduce原理
Hadoop是Apache 下的一个项目,由HDFS、MapReduce、HBase、Hive 和ZooKeeper等成员组成。其中,HDFS 和MapReduce 是两个最基础最重要的成员。HDFS是Google GFS 的开源版本,一个高度容错的分布式文件系统,它能够提供高吞吐量的数据访问,适合存储海量(PB 级)的大文件(通常超过64M),其原理如下图所示:采
2016-10-13 17:49:18 472
转载 Hadoop性能调优
Hadoop为用户作业提供了多种可配置的参数,以允许用户根据作业特点调整这些参数值使作业运行效率达到最优。一 应用程序编写规范1.设置Combiner 对于一大批MapReduce程序,如果可以设置一个Combiner,那么对于提高作业性能是十分有帮助的。Combiner可减少Map Task中间输出的结果,从而减少各个Reduce Task的远程
2016-10-13 17:47:02 8735 1
原创 Hdfs 的读写操作
说明:本测试使用maven管理项目结构,测试前,请把 core-site.xml 拷贝到resource目录package hadoop.test;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import org.apache.hadoop.c...
2016-10-11 10:26:52 3226
原创 Hive UDF UDTF UDAF 函数
1、UDF(时间格式转换)// 1、定义一个类继承UDF,然后添加一个方法,ecaluate,这个方法的参数和返回值类型和函数的输入输出一致// 2、把项目打包成jar,然后放到hive的classpath下,或者add jar// 3、在hive里面新建一个funcation,然后指定到我们新建的类型 create function MyDateParser as'hadoop...
2016-10-24 17:47:32 667
原创 apache-hive-2.0.0安装
安装hive安装在hadoop的namenode上,拷贝安装文件到linux中/usr/tools/apache-hive-2.0.0-bin.tar.gz解压:tar –zxvf apache-hive-2.0.0-bin.tar.gz添加到环境变量vi /etc/profile编辑exportHIVE_HOME=/usr/tools/apache-hive-2.0....
2016-10-19 16:35:43 1394
原创 Centos 6.5 Apache Hive 0.9.0 安装
安装前提:1、已经安装了mysql数据库(并为hive创建一个数据库) 2、hadoop集群可以正常启动安装步骤:1、下载tar包,并上传到服务器上面2、tar -zxvf hive-0.9.0.tar.gz /usr/tools/hive2、cd /usr/tools/hive/apache-hive-0.9.0/conf(即hive解压目
2016-10-16 14:00:32 367
原创 解决启动MySql提示:MySQL server PID file could not be found!
重启mysql时提示:MySQL server PID file could not be found!解决方法:1.ps aux|grep mysqld |grep -v grep 查看是否有mysqld进程被卡死,kill掉,然后重启mysqld。kill -9 +进程号2.mysql在启动时没有指定配置文件时会使用/etc/my.cnf配置文件,请打开这
2016-10-16 10:48:52 6074
原创 mapreduce的二次排序(字符型)
import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.WritableComparable;public class StringPair implements WritableComparable { private ...
2016-10-11 10:15:42 564
原创 mapreduce的二次排序 SecondarySort(数值型)
mapreduce的二次排序 SecondarySort关于二次排序主要涉及到这么几个东西:在0.20.0以前使用的是setPartitionerClasssetOutputkeyComparatorClasssetOutputValueGroupingComparator在0.20.0以后使用是job.setPartitionerClass(Partition...
2016-10-11 08:57:19 363
hadoop2.6-common-bin.zip
2016-09-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人