- 博客(9)
- 收藏
- 关注
RSS订阅原创 hive mysql
一、cd /hive/bin./hive create database test ;show databases ;../hive/bin/hive show databases;为空创建的数据结果存放在 metastore.db 中会检索当前目录中metastore.db存放的 信息第二种启动方式，是在其他目录中进行启动的，检索不到met...
2017-06-30 23:26:55
110
原创 mysql安装
一、上传mysql-servie.rpmmysql-client.rpm二、检查是否安装过rpm -qa | grep -i mysql-q 查询-a 全部（系统默认会安装一部分软件）若有，则删除rpm -ev --nodeps mysql-libs-5.1.71-1.el6.x86_64-- nodes 直接删除会提示失败，软件之间存在依赖关系...
2017-06-30 21:38:57
72
原创 hive
安装1.前提 配置Java hadoop/etc/profileJAVA_HOMEHADOOP_HOME2.解压tar -zxvf cdd ../bin启动 hadoop sbin目录中start-all.shcd ./hive/bin./hive show databases ;create database p...
2017-06-28 22:50:09
84
原创 hadoop
一、hadoop job list 查看 hadoop job 编号 hadoop job -kill xxxx 关闭某 job二、格式化输入按照特定格式读入数据formatInput三、格式化输出除去分区方式外自定义输出到哪个文件上formatOutPut...
2017-06-17 09:03:41
96
原创 Hadoop2.0 HA 集群搭建步骤
Hadoop2.0 HA 集群搭建步骤一、准备1.新建六台虚拟机1.1 采用 clone 的方式快速新增六台虚拟机[url=http://jingyan.baidu.com/article/6b97984d9798f11ca2b0bfcd.html]安装方式[/url] 采用 clone 方式的优势，可以免去在原主机中软件的安装问题clone 后主机中的...
2017-06-10 18:40:04
138
原创 MapReduce（4）
一、处理多个文件求每个同学每科成绩的总分chinese.txtenglish.txtmath.txt1.新建 path : score , 上传源文件Mapper.java[code="java"]package com.study.score.day01;import java.io.IOException;import org...
2017-06-05 22:32:50
107
原创 MapReduce（3）
一、Mapper分区数量1.Mapper 分区数量 = 文件大小 / 128M2.输出结果数量 = Reducer 的数量二、设置 Reducer 数量计算每月利润总和源文件：1 2801 5602 2342 2643 8733 2323[code="java"]/* * 1.Map任务的数量问题，Map任务取决切面的...
2017-06-04 20:51:22
100
原创 MapReduce（2）
一、去除重复的内容源文件：192.168.234.21192.168.234.22192.168.234.21192.168.234.21192.168.234.23192.168.234.21192.168.234.21192.168.234.21192.168.234.25192.168.234.21192.168.234.21192.1...
2017-06-04 18:46:19
92
原创 MapReduce
WordCount统计文本单词的数量源文件内容：word.txthello worldhello hadoophello 1606hello world一、Map 处理1.在 hdfs 上新增 path -- wordCount , 上传 word.txt 选中 hadoop 连接 --> 右键 --> 新增path ：create new ...
2017-06-03 20:52:42
87
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人