![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据组件
天天乐见
这个作者很懒,什么都没留下…
展开
-
Hive源码分析(1)——CLi输入处理
##Hive源码分析(一)——CLi输入处理北京时间:2020年04月28日10:30环境Hive3.1.11、程序栈主要执行流程main:683, CliDriver (org.apache.hadoop.hive.cli)程序入口:public static void main(String[] args) throws Exception { int ret = ...原创 2020-04-28 13:46:49 · 747 阅读 · 0 评论 -
Hive源码环境搭建(二)——配置与Debug
Hive源码环境搭建(二)——配置与Debug北京时间:2020年04月27日22:30接着上次写Hive源码环境搭建(一)源码编译,下面接着做Hive的环境配置,以及对Hive进行Debug本人环境:系统:macOS 10.14.6、Maven版本:3.5.4、JDK版本:1.8.0_201IDE版本:IntelliJ IDEA 2020.1Hive版本:3.1.1(当前最新的HI...原创 2020-04-27 23:51:39 · 691 阅读 · 0 评论 -
Hive源码环境搭建(一)——源码编译
Hive源码环境搭建(一)——源码编译北京时间:2020年04月21日12:16:00Hive项目地址本人环境:系统:macOS 10.14.6、Maven版本:3.5.4、JDK版本:1.8.0_201IDE版本:IntelliJ IDEA 2020.1Hive版本:3.1.1(当前最新的HIve分支4.0我也编译了)1、下载源码可以通过git clone xxxxxxx...原创 2020-04-21 12:23:28 · 3459 阅读 · 0 评论 -
Spark修改为python3.6.5
前提:需要安装python3.6.5,请参考本博客其他文章:Centos7安装Python3.6.5在spark目录下修改文件:./conf/spark-env.sh在文件末尾添加export PYSPARK_PYTHON=/usr/local/src/python3export PYSPARK_DRIVER_PYTHON=/usr/bin/python3...原创 2019-02-12 19:00:22 · 1962 阅读 · 0 评论 -
OLAP引擎这么多,为什么苏宁选择用Druid?
https://www.itcodemonkey.com/article/12448.html转载 2019-02-20 16:48:26 · 1465 阅读 · 0 评论 -
美团点评:基于Druid的Kylin存储引擎实践
https://mp.weixin.qq.com/s/y0wxLqtCkYcc-kLMmtawYA转载 2019-02-20 16:50:58 · 239 阅读 · 0 评论 -
搭建Druid 0.13 集群
需要搭建的节点:如图所示,需要搭建的节点:MiddieManager:执行提交的任务的工作节点,数据的导入(流式数据、批量式数据)Coordinator:管理段,加载新段,丢弃过时段,管理段复制以及平衡段负载Overlord:负责接收任务、协调任务分配Broker:转发查询(sql、API)Historical:用于查询深度存储内容存储方案:元数据存储:mysql深度存储...原创 2019-03-06 15:23:02 · 1777 阅读 · 0 评论 -
HDFS管理界面无权限
在HDFS管理页面,查看/tmp目录出现如下错误:Permission denied: user=dr.who, access=READ_EXECUTE, inode="/tmp":hadoop:supergroup:drwx------ 先开始一直纠结我是用hadoop用户登录操作的,为什么会是dr.who,dr.who其实是hadoop中http访问的静态用户名,并没有啥特殊含...原创 2019-03-15 15:35:53 · 1448 阅读 · 0 评论 -
druid.io 去重计数
https://blog.csdn.net/xiaobai51509660/article/details/82011877转载 2019-03-11 13:53:17 · 734 阅读 · 0 评论 -
Spark集群模式println无显示的坑
在集群上运行spark程序时,rdd的操作都在worker机上,因此输出rdd的元素将在worker机的标准输出上进行,驱动节点上不会运行,故直接才程序中写如下代码 rdd.foreach(println(_))并不能产生期望的结果。此时应该先收集数据,再进行打印,即可得到预期结果 rdd.collect().foreach(println(_))...原创 2019-02-01 16:33:51 · 1789 阅读 · 0 评论 -
Spark之本地模式与集群模式
转载:https://blog.csdn.net/qq_33689414/article/details/80232605转载 2019-02-01 14:35:53 · 297 阅读 · 0 评论 -
Yarn最佳实践——转载
转载:http://blog.csdn.NET/jiangshouzhuang/article/details/52595781 本篇博客,我将讨论Yarn资源管理方面的最佳实践,如果有写的不对的地方,请朋友们多多指教。本篇文章也参考了网上的一些资料。 Hadoop2中引入Yarn组件,将MRv2(Yarn)分为两个主要组件,一个是资源管理,一个是作...转载 2019-01-31 21:37:03 · 171 阅读 · 0 评论 -
将Spring Boot发布到K8S(一)
将Spring Boot程序打包成Docker镜像利用maven将程序打包成war或者jar打包成jar进入pom.xml文件目录,运行命令mvn clean install -Dmaven.test.skip=true执行打包。打包成war修改pom.xml文件<groupId>com.example</groupId><artifactI...原创 2018-12-19 13:36:01 · 5374 阅读 · 0 评论 -
将Spring Boot发布到K8S(二)
Dokcer镜像push私人harbor仓库修改Docker的daemon.json文件文件中加入"insecure-registries": [“192.168.123.45:8000”]运行命令docker login 192.168.123.45:8000输入账号密码运行命令docker push 192.168.123.45:8000/library/data_l...原创 2018-12-19 13:37:20 · 1198 阅读 · 0 评论 -
将Spring Boot发布到K8S(三)
在k8s上拉取镜像k8s的配置文件tmp.yamlapiVersion: apps/v1beta2 # for versions before 1.8.0 use apps/v1beta1kind: Deploymentmetadata: name: data-lake-deploymentspec: selector: matchLabels: app: d...原创 2018-12-19 13:38:48 · 1835 阅读 · 0 评论 -
Hive添加Jar包
Hive添加Jar包Jar放入${HIVE_HOME}/auxlib目录在${HIVE_HOME}中创建文件夹auxlib,然后将自定义jar文件放入该文件夹中。此方法添加不需要重启Hive。连接方式是否重启Hive Shell不需要重启Hive服务就有效Hive Server重启Hive服务才生效...原创 2019-01-24 20:11:29 · 3961 阅读 · 0 评论 -
Java客户端读取Hive 3.0任务进度(一)
Java客户端读取Hive 3.0任务进度(一)通过查阅网上大神的博客可以发现,博客中读取Hive进度的方法都是通过Hive的日志去读取。但是我在查看Hive3.0的日志后,发现Hive3.0的日志中不会记录实时的任务进度,只会记录实时进度以外的其他数据。所以必须另辟蹊径,以解决这个问题。如何才能读取到Hive的任务进度?通过观察可以发现,Hive的任务可以分为两种:不需要执行Map...原创 2019-01-24 20:16:03 · 1569 阅读 · 1 评论 -
Java客户端读取Hive 3.0任务进度(二)
Java客户端读取Hive 3.0任务进度(二)上文说道,我们初步的思路是通过HIve的日志和yarn的接口获取任务进度。可能用到的其他知识:Hook介绍Hive添加Jar在实际的执行过程中,我遇到一个问题:在代码中写死的yarn的接口,如果yarn的服务地址发生改变怎么办?如果面对多个不同的yarn集群怎么办?可见我们需要动态的yarn的接口地址。如何获取yarn集群的地址?首...原创 2019-01-24 20:16:53 · 1587 阅读 · 1 评论 -
Hadoop 2.7.7部署(一)——部署HDFS
Hadoop 2.7.7部署(一)——部署HDFS系统:Centos7JDK:v 1.8在master上操作:添加Hadoop环境,修改/etc/profile文件添加:HADOOP_HOME=/usr/local/src/hadoopPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbinexport PATH HADOOP_HOME...原创 2019-01-31 18:23:45 · 721 阅读 · 0 评论 -
Hadoop 2.7.7部署(二)——部署Yarn
Hadoop 2.7.7部署(二)——部署Yarn书接上文Hadoop 2.7.7部署(一)——部署HDFS配置Yarn,修改文件…/hadoop/etc/hadoop/yarn-site.xml在标签中添加:<configuration> <!-- 指定ResourceManager节点为master --> <property> ...原创 2019-01-31 18:24:16 · 828 阅读 · 0 评论 -
Java调用Hive-metastore接口
Java调用Hive-metastore接口需求:对hive的元数据进行查询,之前师姐的实现方法是通过对MySql的hive元数据数据库操作,进而实现查询。但是该方法太过于麻烦和复杂,在网上查询之后发现,hive提供Hive-metastore service,能比较完美的解决这一需求。1. 为什么有Hive-metastore service 许多第三方框架需要使用hive 的元数...原创 2018-12-05 18:09:42 · 8188 阅读 · 7 评论