- 博客(13)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 Mysql 练习题 及 答案
--1.学生表Student(S,Sname,Sage,Ssex) --S 学生编号,Sname 学生姓名,Sage 出生年月,Ssex 学生性别--2.课程表 Course(C,Cname,T) --C --课程编号,Cname 课程名称,T 教师编号--3.教师表 Teacher(T,Tname) --T 教师编号,Tname 教师姓名--4.成绩表 SC(S,C,score) --S 学生...
2016-10-21 11:27:09
47797
39
原创 CentOs mysql 的安装与默认安装目录修改
准备工作1、首先使用 rpm -qa|grep mysql 查看系统是否有自带的mysql2、如果有的话使用 yum remove mysql-server mysql-libs compat-mysql51 卸载掉3、rm -rf /var/lib/mysql rm /etc/my.cnf 4、查看是否还有mysql软件：rpm -qa|
2016-10-14 19:29:45
29147
转载 Hadoop Mapreduce原理
Hadoop是Apache 下的一个项目，由HDFS、MapReduce、HBase、Hive 和ZooKeeper等成员组成。其中，HDFS 和MapReduce 是两个最基础最重要的成员。HDFS是Google GFS 的开源版本，一个高度容错的分布式文件系统，它能够提供高吞吐量的数据访问，适合存储海量（PB 级）的大文件（通常超过64M），其原理如下图所示：采
2016-10-13 17:49:18
468
转载 Hadoop性能调优
Hadoop为用户作业提供了多种可配置的参数，以允许用户根据作业特点调整这些参数值使作业运行效率达到最优。一 应用程序编写规范1.设置Combiner 对于一大批MapReduce程序，如果可以设置一个Combiner,那么对于提高作业性能是十分有帮助的。Combiner可减少Map Task中间输出的结果，从而减少各个Reduce Task的远程
2016-10-13 17:47:02
8725
1
原创 Hdfs 的读写操作
说明：本测试使用maven管理项目结构，测试前，请把 core-site.xml 拷贝到resource目录package hadoop.test;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import org.apache.hadoop.c...
2016-10-11 10:26:52
3220
原创 Hive UDF UDTF UDAF 函数
1、UDF（时间格式转换）// 1、定义一个类继承UDF，然后添加一个方法，ecaluate，这个方法的参数和返回值类型和函数的输入输出一致// 2、把项目打包成jar，然后放到hive的classpath下，或者add jar// 3、在hive里面新建一个funcation,然后指定到我们新建的类型 create function MyDateParser as'hadoop...
2016-10-24 17:47:32
658
原创 apache-hive-2.0.0安装
安装hive安装在hadoop的namenode上，拷贝安装文件到linux中/usr/tools/apache-hive-2.0.0-bin.tar.gz解压：tar –zxvf apache-hive-2.0.0-bin.tar.gz添加到环境变量vi /etc/profile编辑exportHIVE_HOME=/usr/tools/apache-hive-2.0....
2016-10-19 16:35:43
1392
原创 Centos 6.5 Apache Hive 0.9.0 安装
安装前提：1、已经安装了mysql数据库（并为hive创建一个数据库） 2、hadoop集群可以正常启动安装步骤：1、下载tar包，并上传到服务器上面2、tar -zxvf hive-0.9.0.tar.gz /usr/tools/hive2、cd /usr/tools/hive/apache-hive-0.9.0/conf(即hive解压目
2016-10-16 14:00:32
358
原创 解决启动MySql提示:MySQL server PID file could not be found!
重启mysql时提示：MySQL server PID file could not be found!解决方法：1.ps aux|grep mysqld |grep -v grep 查看是否有mysqld进程被卡死，kill掉，然后重启mysqld。kill -9 +进程号2.mysql在启动时没有指定配置文件时会使用/etc/my.cnf配置文件，请打开这
2016-10-16 10:48:52
5958
原创 mapreduce的二次排序（字符型）
import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.WritableComparable;public class StringPair implements WritableComparable { private ...
2016-10-11 10:15:42
555
原创 mapreduce的二次排序 SecondarySort（数值型）
mapreduce的二次排序 SecondarySort关于二次排序主要涉及到这么几个东西：在0.20.0以前使用的是setPartitionerClasssetOutputkeyComparatorClasssetOutputValueGroupingComparator在0.20.0以后使用是job.setPartitionerClass(Partition...
2016-10-11 08:57:19
357
hadoop2.6-common-bin.zip
2016-09-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人