- 博客(37)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 (7-12)hive导出数据
(7-12)hive导出数据---------------------------------------1、重定向把hive中的数据导出来：-------------------------例如把 t5表的数据导出来：[root@baozi hive]# bin/hive -e "select * from t5" > t5Logging initialized usin
2015-04-29 23:07:34
1003
原创 (7-11)hive加载数据
(7-11)hive加载数据----------------------------------------------------1、从文件中装载数据--------------------------------------------------------hive> create table t3 like t1;OKTime taken: 0.296 seconds
2015-04-29 23:06:30
1416
原创 (7-10)hive表视图、索引
(7-10)hive表视图、索引------------------------------------视图------------------------------------//创建视图hive> create view viem_table AS select t2.name from t2;OKTime taken: 1.556 seconds//查看视图hi
2015-04-29 23:04:00
755
原创 (7-9)hive创建4种表
(7-9)hive创建4种表--------------------------------------------- hive 的数据类型 ------------------------------------------------------------------- 1、管理表-------------------------------------1.1、所有Tabl
2015-04-29 23:03:04
1114
原创 (7-8)hive数据库、表、字段定义
(7-8)hive数据库、表、字段定义--------------------------------------------------------------1、数据库的定义-----------------------------------------------------------1.1、创建数据库：hive> show databases;OKdefault
2015-04-29 23:02:54
1549
原创 (7-7)hive复合数据类型
hive基本数据类型：hive复合数据类型：--------------------------------------------------------------- struct 类型---------------------------------------------------------------------//
2015-04-29 22:59:50
1053
转载 Hive启动报错解决方法
Hive启动报错解决方法启动Hive时报错如下：wamdm@WAMDM5:~/hive/build/dist/bin$ ./hiveException in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf at java.lang.Cl
2015-04-26 23:03:06
3451
转载 Hbase配置项粗解（2）
Hbase配置项粗解（2）hbase的配置接上篇hbase.client.write.buffer：htable客户端写缓冲区大小，默认是2097152BYTE，这个缓冲区就是为了写数据的临时存放，设置大了，浪费客户端和服务端的存储，设置小了，如果写的数据多，太多的RPC又带来网络开销，官方给的一个服务端存储耗费评估计算是：hbase.client.write.buffer*h
2015-04-22 18:28:20
1359
转载 Hbase配置项粗解（1）
继之前写的设计和使用tip，这里补充一下hbase所有的配置项。之前涉及的一个项目在hbase设计上存在缺陷，当进入时已经存在着很多rowkey设计和读写问题，现在重读hbase文档，把所有的配置项整理一遍。hbase.tmp.dir：本地文件系统的临时目录，默认是java.io.tmpdir/hbase−{user.name}；hbase.rootdir：hbase持久化的目录，
2015-04-22 18:25:05
905
原创 (7-6)hive的set命令
hive控制台set命令:set hive.cli.print.current.db=true;set hive.metastore.warehouse.dir=/hive[root@i-love-you hive-0.14.0]# bin/hiveLogging initialized using configuration in jar:file:/usr/local/h
2015-04-21 21:23:26
2092
原创 (7-5)hive的web界面和JDBC模式
Web界面安装：下载apache-hive-0.14.0-src.tar.gz：把 apache-hive-0.14.0-src.tar.gz\apache-hive-0.14.0-src\hwi\web 里的所有文件及文件夹打成war包，复制到hive/lib里面。复制 tools.jar(jdk的lib包下面的jar包) 到 hive/lib下。修改hive-site.xml
2015-04-21 21:18:58
752
原创 (7-4)hive与外部资源的交互
与Linux交互命令：hive> !ls;aabinconfderby.logexampleshcataloglibLICENSEmetastore_dbmydateNOTICEREADME.txtRELEASE_NOTES.txtscriptsshellhive> !pwd;/usr/local/hive-0.14.0hive>与HDFS交互
2015-04-21 21:17:14
775
原创 (7-3)hive的脚本执行
不进入hive，显示默认数据库default的表：[root@i-love-you hive-0.14.0]# bin/hive -e "show tables"Logging initialized using configuration in jar:file:/usr/local/hive-0.14.0/lib/hive-common-0.14.0.jar!/hive-log4j.pr
2015-04-21 21:15:42
760
原创 (7-2)hive参数配置使用
hive参数配置使用在代码中引用时使用${...}命名空间 使用权限 描述 hivevar 可读写 $hive -d name=baozi;hiveconf 可读写 $hive --hiveconf hive.cli.print.current.db=true; $hive --hiveconf hive.cli.print.header=true;system
2015-04-21 21:14:17
1056
原创 (7-1)hive-0.14.0安装及命令行运行
-------------------------------使用默认Derby内嵌数据库，存储metastore信息，hive解压即可使用：解压：tar -zxvf apache-hive-0.14.0-bin.tar.gz改名：mv apache-hive-0.14.0-bin hive-0.14.0查看conf文件夹：ll-rw-r--r--. 1 baozi game
2015-04-20 14:34:45
1000
原创 (6-2)shell编程 （2）
for循环：通过使用一个变量去遍历给定列表中的每个元素，在每次变量赋值时执行一次循环体，直至赋值完成所有元素退出循环。-----------------------------------------格式 1 -----------------------------：写法一：[root@baolibin shell]# vi for1.sh[root@baolibin shell]#
2015-04-20 14:31:33
1014
原创 (6-1)shell编程 （1）
1、shell编程的hello word![root@baolibin shell]# pwd/usr/local/shell[root@baolibin shell]# vim hello.sh[root@baolibin shell]# chmod +x hello.sh[root@baolibin shell]# more hello.sh#!/bin/bash#hel
2015-04-20 14:30:34
677
原创 MultipleInputs用法
MultipleInputs处理多输入源，本例子包括 windows上的mysql数据库数据和hdfs上的文本数据。mysql数据：hdfs数据：[root@baolibin ~]# hadoop fs -text /input/heheWarning: $HADOOP_HOME is deprecated.hello youhello mehel
2015-04-16 16:07:40
3157
原创 CombineTextInputFormat用法
输入数据：代码：package inputformat;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.Lo
2015-04-16 15:29:04
5426
1
原创 NLineInputFormat用法
输入的数据：[root@i-love-you hadoop]# bin/hdfs dfs -text /input/hehehadoop hellohadoop mehadoop java代码：package inputformat;import java.io.IOException;import org.apache.hadoop.conf.Configur
2015-04-16 15:09:20
1846
1
原创 SequenceFileInputFormat用法
SequenceFileInputFormat只能处理SequenceFile类型的文件。代码：package inputformat;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.
2015-04-16 14:26:12
5587
原创 自定义计数器
代码：import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org
2015-04-16 14:10:10
951
原创 DBInputFormat用法
输入的数据库数据：代码：package hadoop_2_6_0;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import java.sql.PreparedStatement;import java.sql.ResultSet;import
2015-04-14 21:10:56
1247
转载 java.sql.SQLException: null, message from server: "Host 'xxx' is not allowed to connect
可能是数据库不能被原创访问，只能是localhost访问。修改表：[sql] view plaincopyprint?use mysql ; select user,host,password from user; update user set host = '%' where user='root';
2015-04-14 21:08:11
6406
原创 mapreduce编程自定义排序
输入数据：[root@baolibin hadoop]# hadoop fs -text /input/hahaWarning: $HADOOP_HOME is deprecated.2 13 21 3代码：package hadoop_2_6_0;import java.io.DataInput;import ja
2015-04-14 20:08:16
977
原创 KeyValueTextInputFormat用法
数据是以空格为分隔符的。[root@baolibin hadoop]# hadoop fs -text /input/heheWarning: $HADOOP_HOME is deprecated.hello youhello mehello youhello me代码如下：package hadoop_2_6_0;import java.io.IOExcep
2015-04-14 19:56:34
4326
原创 (5-3)Mapper源码分析
//一个4个方法：setup()、map()、cleanup()、run()。//setup()在map任务之前执行，clean()在map任务之后执行，run()方法控制这些函数执行，run()方法由框架调用。//代码中给出了一个map()实例。package org.apache.hadoop.mapreduce; * Example: * * public class T
2015-04-11 16:32:44
788
原创 (5-2)Writable源码分析
//Writable是一个接口，里面有两个方法write()和ReadFields()。源码中给出了一个自定义序列化的例子代码。package org.apache.hadoop.io;/** * Example: * * public class MyWritable implements Writable { * // Some data *
2015-04-11 16:23:56
753
原创 (5-1)InputFormat源码分析
//InputFormat抽象类，里面有2个抽象方法getSplits()和createRecordReader()package org.apache.hadoop.mapreduce;import java.io.IOException;import java.util.List;import org.apache.hadoop.classification.InterfaceAud
2015-04-11 15:55:54
1030
原创 C课设--职工薪水管理
大一 沈傲=_=这个比较简单，直接把数据存放在内存里面了。#include#include#include//结构体typedef struct Works{ int id; //工号 char name[10]; //姓名 char sex[10]; //性别 int salary; //薪水}works;works w[100];int count
2015-04-11 15:49:45
822
原创 (4-4)HDFS的namenodeID
NameNode的namemodeID 在core-site.xml中设定了HDFS的存储路径 hadoop.tmp.dir /usr/local/mydata [root@i-love-you mydata]# pwd/usr/local/mydata[root@i-love-
2015-04-11 15:44:33
1492
原创 创建hadoop-2.6.0工程导包
第一步：创建一个Java Project工程： 第二步：导包 进入目录：E:\hadoop software\hadoop-2.6.0\share\hadoopCommon： HDFS： Mapreduce: Yarn： Conmon：--lib： 开始导入包，为了方便管理，自定义一个包：
2015-04-11 15:29:43
1053
原创 hadoop2.6.0的maven的pom配置
4.0.0 mr mr 0.0.1-SNAPSHOT mr org.apache.zookeeper zookeeper 3.4.6 org.apache.hadoop hadoop-client 2.6.0 org.apache.hadoop hadoop-common 2.6.0
2015-04-11 15:22:07
3303
原创 (4-3)查看fsimage和edits
查看fsimage文件内容启动：bin/hdfs oiv -i /usr/local/mydata/dfs/name/current/fsimage_0000000000000000254查看：bin/hdfs dfs -ls -R webhdfs://127.0.0.1:5978/bin/hdfs -ls -R /不启动的话：[root@i-love-yo
2015-04-11 15:05:25
1158
原创 (4-2)block数据块
Block是最基本的存储单元HDFS Client上传数据到HDFS时，会先在本地缓存数据，当数据达到一个Block大小时，请求NameNode分配一个Block。NameNode会把Block所在的DataNode的地址告诉HDFS Client。HDFS Client会直接和DataNode通信，把数据写到DataNode节点一个Block文件中。设置数据块大小：h
2015-04-11 15:02:16
983
原创 (4-1)HDFS笔记--命令
bin/hdfs dfs//显示HDFS根目录：bin/hdfs dfs -ls hdfs://192.168.10:9000///递归显示HDFS的根目录bin/hdfs dfs -ls -R hdfs://192.168.10:9000/bin/hdfs dfs -ls -R ///查看ls帮助文档bin/hdfs dfs -help ls//递归创建目录
2015-04-11 14:58:49
1400
原创 Java把xls数据读写到txt里
getCell里面是两个整数，最多一次可以读取65535行。读取的行数如果大于这个，只能读取65535行。如果读取一千万多行的文本数据，用 EditPlus 软件打开，会直接卡死，如果用 Notepad++可以正常打开。如果只是想把数据格式转换一下，不进行数据处理，可以用Notepad++ 打开，然后另存为txt格式即可。如果
2015-04-11 14:49:29
1470
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人