- 博客(19)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【Hive】Hive 2.3.2 安装
文章目录1. 内嵌 Derby 版本1.1 下载安装包1.2 解压安装包1.3 配置环境变量1.4 初始化元数据1.5 启动hive，进入hive客户端1.6 derby方式缺点2. 外置 MySQL 版本1. 内嵌 Derby 版本2.1 下载安装包2.2 解压安装包2.3 配置环境变量2.4 安装mysql数据库2.5 修改配置文件3. Linux RPM 方式安装 MySQL3.1 检查以前...
2019-12-31 15:27:41
376
原创 【Hive】Hive基础知识
文章目录1. hive产生背景2. hive是什么3. hive的特点3.1优点：3.2 缺点：4. Hive 和 RDBMS 的对比5. hive架构5.1 用户接口层5.2 Thrift Server层5.3 元数据库层5.4 Driver核心驱动层6. hive的数据存储1. hive产生背景先分析mapreduce:mapreduce主要用于数据清洗或统计分析工作并且绝大多数的场景...
2019-12-29 11:12:30
247
原创 【MapReduce】Mapreduce基础知识整理 (七) 自定义输出
自定义输出默认输出：FileOutputFormatTextOutputFormatRecordWriterLineRecordWriter自定义输出：创建一个类继承FileOutputFormat重写getRecordWriter创建一个文件真正的写入器，继承RecordRecordWriter重写write() close()job中指定自定义的输...
2019-12-25 18:39:18
260
原创 【Activiti】Activiti 6.0 java api 开发demo
文章目录1. IDEA 安装 actiBPM 插件2. 创建工程引入依赖3. 绘制工作流流程图4. Activiti Java api 案例1. IDEA 安装 actiBPM 插件plugins中可直接搜索activiBPM安装但是我的idea一直搜索不到activiBPM建议离线安装,插件下载地址https://github.com/Activiti/Activiti-Designe...
2019-12-19 21:29:07
597
原创 【工具使用】Maven离线安装依赖包到本地仓库
当我们在pom.xml中添加一个依赖的时候，往往这个加载过程要等半天，这个过程要去下载相应的依赖包。但是我们去mvn仓库看它下载的包其实不大，从浏览器刷一下就下载下来了。所以在idea等工具中添加依赖慢的时候不防先下载包，再安装到本地仓库。下载jar包执行安装命令执行命令最好到包所在的目录下去执行，否则file路径前边会加上当前执行mvn命令的目录前缀参数就是上图中参应的参数...
2019-12-19 10:10:55
4529
1
原创 【工具使用】IDEA plugins 总是加载不出来解决办法
查着有说将Appearance&Behavior–>System Settings–>Updates–>Use secure connection的勾去掉的。但是我使用的2019.2版本没有这个选项。我将Appearance&Behavior–>System Settings–>HTTP Proxy改为Auto-detect proxy sett...
2019-12-18 14:19:12
7564
2
原创 【MapReduce】Mapreduce基础知识整理 (五) 多Job串联、共同好友案例
文章目录前言多job串联案例求共同好友前言一个任务中包含多个mapreduce任务（job）,多个job之间有相互的依赖关系的需要进行多job串联操作步骤: //将我们的普通的job转成Controlledjob //job.getCon/getLong... 都是来自job.xml ControlledJob cjob1=new ControlledJob(job1.getConf...
2019-12-18 13:49:15
265
原创 【工具使用】Mac Eclipse插件离线安装步骤
前言关于eclipse离线安装教程，网上太多，有时候着急用发现试了又试就是不行，所以还是要记录下来，下次自己安装的时候直接查看省去查找和试错的时间。关于在线安装，实在太慢了，所以直接不考虑了。1. 离线安装步骤示例以安装Activiti Eclipse BPMN 2.0 Designer为例：Help—>Install New Software然后完成，重启Eclipse，...
2019-12-17 20:45:02
746
原创 【YARN】hadoop yarn集群中如何管理cpu资源
介绍当用yarn进行资源管理时，yarn平台开发人员主要关注两个方面：资源分配(Resource allocation)：具有所需资源和资源的最佳节点上分配应用的containers。强制和资源隔离使用(Enforcement and isolation of Resource usage)：在任何节点上，不要让container超出其承诺的/保留的资源。将CPU作为一类资源将CPU...
2019-12-17 15:18:28
712
原创 【Ambari】设置yarn队列资源为绝对值[memory=10240,vcores=12,yarn.io/gpu=4]
目录1.介绍2 API方式修改资源队列步骤2.1 获取所有配置的tag和version2.2 获取指定文件的指定版本的配置2.3 修改配置2.4 刷新配置2.5 重启相应组件3 相关问题解释1.介绍hadoop 3.0以后支持以绝对值方式指定yarn资源队列memory vcores及gpu cores的大小，2.x版本只能指定每个队列使用内存资源的百分比。2 API方式修改资源队列步骤...
2019-12-17 15:15:30
4088
原创 【YARN】yarn 集群管理之memory、cpu 相关配置
目录yarn 管理内存相关配置yarn 管理vcores相关配置yarn 管理内存相关配置propertiesvalue描述descriptionyarn.nodemanager.resource.memory-mb-1可分配给containers的物理内存量（以MB为单位）。 如果设置为-1并且yarn.nodemanager.resource.detect-ha...
2019-12-17 15:12:32
1343
原创 【工具使用】Gradle build报错 io.spring.gradle.dependencymanagement.DependencyManagementPlugin
$ gradle buildFAILURE: Build failed with an exception.* Where:Build file '/Users/honey/workSpace/XX_ProTest/build.gradle' line: 17* What went wrong:A problem occurred evaluating root project '...
2019-12-16 11:20:57
4512
原创 【MapReduce】Mapreduce基础知识整理 (四) 自定义输入
目录1. 为什么需要自定义输入2. 默认输入源码分析2.1 org.apache.hadoop.mapreduce.Mapper2.2 org.apache.hadoop.mapred.MapTask2.3 org.apache.hadoop.mapreduce.lib.map.WrappedMapper2.4 org.apache.hadoop.mapreduce.task.MapContext...
2019-12-14 21:41:52
419
原创 【Activiti】Activiti 6 部署初体验
文章目录1. 环境准备2.开始部署2.1 解压activiti-6.0.0.zip2.2 拷贝war包到tomcat2.3 启动tomcat2.4 验证成功3. 初体验3.1 创建用户3.2 创建一个流程3.3 创建app3.4 走流程1. 环境准备activiti官网地址：https://www.activiti.org/安装JDK安装tomcat下载activiti下载地址：ht...
2019-12-13 19:54:32
855
原创 【MapReduce】Mapreduce基础知识整理 (三) shuffle机制、MapJoin、ReduceJoin、倒排序索引
1. Mapreduce的Shuffle机制1.1概述一个mapreduce过程：map——>shuffle(排序、分组、分区、combiner)——>reduceMapReduce 中，mapper 阶段处理的数据如何传递给 reducer 阶段，是 MapReduce 框架中 最关键的一个流程，这个流程就叫 ShuffleShuffle: 数据混洗 ——(核心机制:数据...
2019-12-12 20:08:31
720
原创 【MapReduce】Mapreduce基础知识整理 (一) 基础介绍、task、并行度机制、切片机制、
目录1 Mapreduce 入门1.1 什么是 MapReduce1.2 为什么需要 MapReduce1.3 mapreduce编写规范2 MapReduce 程序的核心运行机制2.1 概述2.2 MapReduce 程序的运行流程2.3 MapTask 并行度决定机制2.4 切片机制2.5 maptask 并行度及切片机制源码分析2.5.1 maptask运行的并行度分析2.5.2 源码分析M...
2019-12-12 15:12:58
484
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人