- 博客(17)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 hive基本操作
1）hive概述Apache Hive数据仓库软件有助于使用SQL读取，编写和管理驻留在分布式存储中的大型数据集，可以将结构投影到已存储的数据中，提供了命令行工具和JDBC驱动程序以将用户连接到Hive。数据计算：mapreduce分布式计算->难度大hive->SQL语句mysql简化开发减少学习成本2）优缺点优点： （1）操作接口采用了sql，简化开发，减少学习...
2019-01-23 23:16:04
220
原创 hive安装
Hive安装1）下载安装包 2）上传安装包 3）解压 4）修改配置文件 hive-env.shHADOOP_HOME=/root/hd/hadoop-2.8.5 export HIVE_CONF_DIR=/root/hd/hive/conf5）启动hive前启动hadoop集群 start-dfs.sh start-yarn.sh start-all.sh 启动...
2019-01-23 23:13:18
108
原创 安装zookeeper集群
hadoop生态圈的管理员Apache Zookeeper 致力于开发和维护开源服务器，实现高度可靠的分布式协调。2）什么是ZooKeeper？Zookeeper是一种集中式的服务，用于维护配置信息，命名，提供分布式同步和提供组服务。所有这些类型的服务都以分布式应用程序的某种形式使用。每次实施它们都需要做很多工作来修复不可避免的错误和竞争条件。由于难以实现这些类型的服务，应用程序最初通常会吝...
2019-01-16 22:45:57
124
原创 mapreduce之reducejoin
有两个文件pd.txt01 mac02 huawei03 xiaomi第一列是订单id，第二列是商品名称order.txt201801 01 1201802 02 2201803 03 3201804 01 4201805 02 5201806 03 6第一列是时间戳，第二列是订单id，第三列是数量这两个文件都在一个文件中需要处理后输出结果是订单id 商品名称 数量...
2019-01-13 17:49:29
263
原创 mapreduce之mapjoin
mapjoin指的是在mapreduce的map阶段先加载一个文件缓存到内存当中，这个文件可能是从磁盘读取的或网络请求的都可以。map(key,value,context)方法中读取的数据key和value，这两个数据和先前缓存到内存中的数据一起做处理后再context.write()到reduce阶段。mapjoin相当于在map阶段写数据到reduce阶段前对数据做了处理。比如有两个tx...
2019-01-13 17:02:08
1406
2
原创 program type already present: android dagger.shaded.auto.common.Visibility
androidstudio 编译报这个异常：program type already present: android dagger.shaded.auto.common.Visibility这个问题是因为依赖的两个库，都拥有同一个类Visibility.class导致。我这里依赖了com.google.dagger
2019-01-07 15:08:14
611
原创 Error: java.util.concurrent.ExecutionException: com.android.builder.internal.aapt.v2.Aapt2Exception:
androidstudio 编译报错Error: java.util.concurrent.ExecutionException:com.android.builder.internal.aapt.v2.Aapt2Exception: AAPT error: checklogs for details这个问题可以通过在terminal输入gradlew compileDebugSou...
2019-01-07 15:02:15
4705
原创 MapReduce任务提交到yarn集群中执行
将本地在eclipse执行的任务要提交到服务器hadoop集群中执行需要修改将任务驱动类第6步，输入的路径和输出的路径由本地改成hdfs文件系统目录public class WordCoutDriver { public static void main(String[] args) throws IOException, ClassNotFoundException, Interru...
2019-01-07 00:24:09
2957
1
原创 hadoop数据类型及序列化
JAVA类型 HADOOP类型int IntWritablefloat FloatWritablelong LongWritabledouble DoubleWritablestring Textboolean BooleanWritablebyt...
2019-01-06 21:11:27
321
1
原创 MapReduce编程规范
用户编写MapReduce程序主要分为三个部分：Mapper,Reducer,Driver1.Mapper阶段1）用户自定义mapper类要继承父类Mapper2）Mapper的输入数据的kv对形式（kv类型可以自定义）3）Mapper的map方法的重写（加入业务逻辑）4）Mapper的数据的出kv对的形式（kv类型可以自定义）5）map方法（maptask进程）对每个<k,v&...
2019-01-06 20:18:31
362
原创 MapReduce框架统计单词次数
在eclipse中新建java工程mapreduce1）导入包如下hadoop-2.8.5\share\hadoop\hdfs\hadoop-hdfs-2.8.5.jarhadoop-2.8.5\share\hadoop\hdfs\lib\\*hadoop-2.8.5\share\hadoop\common\hadoop-common-2.8.5.jarhadoop-2.8.5\shar...
2019-01-06 19:08:57
546
1
原创 yarn集群的搭建
大数据中除了hadoop集群外，还有个yarn集群，这个集群用来处理各种计算任务需要分配的cup和内存。1）首先配置yarn-site.xml文件<configuration><!-- Site specific YARN configuration properties --> <property> &l...
2019-01-06 16:40:55
533
原创 window本地用eclipse调用api操作hadoop集群
1、下载ecplice安装2、选择hadoop2.8.5下载到window本地3、在eclipse中新建java工程4、添加hadoop中的jar包到java工程右键工程->Build Path->Add Libraries->User Library依赖jar包都在hadoop2.8.5文件夹中的share目录中，选择其中的share/hadoop/com...
2019-01-03 01:22:22
509
原创 hdfs常用api
1）hdfs 的客户端1.网页形式->测试用http://192.168.252.121:500702.命令行形式->测试用3.企业形式2）查看帮助hdfs dfs -help3）查看当前目录信息hdfs dfs -ls /4）上传文件hdfs dfs -put /本地路径/本地路径5）剪切文件hdfs dfs -moveFromLocal a.txt /aa....
2019-01-02 02:01:00
475
原创 搭建hadoop集群
1）关闭防火墙（进行远程连接）systemctl stop firewalld.servicesystemctl -disable firewalld.service2)永久修改设置主机名vi /etc/hostname3)配置映射文件vi /etc/hostsip 主机名4）配置jdk5）配置免密登录6)配置core-site.xml7)配置hadoop-env.xml...
2019-01-02 00:46:35
133
原创 centos修改主机名
第一种命令行修改hostnamectl set-hostname bigdata121第二种修改文件vi /etc/hostname
2019-01-01 21:05:51
101
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人