大数据
文章平均质量分 87
喜欢较真的小金
拥有5+上的开发经验,3+架构经验。希望找到一起的小伙伴,共同探讨技术问题。目前专注于生成式大模型方向研究。
展开
-
Hive 笔记异常
Hive 笔记异常(java.sql.SQLException: Unable to open a test connection to the given database.转载 2016-10-07 02:19:39 · 1059 阅读 · 0 评论 -
在eclipse中运行mapreduce程序全过程,问题详解
一.简介 Windows下的 Eclipse上调试Hadoop2代码,所以我们在windows下的Eclipse配置hadoop-eclipse-plugin-2.6.0.jar插件,并在运行Hadoop代码时出现了一系列的问题,搞了好几天终于能运行起代码。接下来我们来看看问题并怎么解决,提供给跟我同样遇到的问题作为参考。 Hadoop2的WordCount.java统计代码如下转载 2016-12-06 02:14:42 · 3087 阅读 · 0 评论 -
HWI安装及问题
HWI(Hive web Interface)即Hive的webUI接口。一般通过路径http://maste:9999/hwi 来访问hive的webUI。HWI提供了一个hive数据仓库的可视化的操作的界面。1)下载hive源码,找到web文件夹2)将web文件夹通过如下命令进行打包,生成war文件jar cfM hive-hwi-1.2.1.war –C web .原创 2016-12-09 07:25:37 · 3332 阅读 · 0 评论 -
xml文件中配置JDBC源遇到问题 : The reference to entity "characterEncoding" must end with the ';' delimiter
数据源配置时加上编码转换格式后出问题了:The reference to entity"characterEncoding" must end with the ';' delimiter这个错误就是 context.xml中设置数据源链接URL的问题 url jdbc:mysql://localhost:3306/bookstore?useUnicode=tru转载 2016-12-29 02:54:38 · 6310 阅读 · 0 评论 -
Centos 7.2 安装 Ambari 2.2.2 + HDP 2.4.2 搭建Hadoop集群
1.安装环境说明安装前先安装好 Centos 7.2, jdk-8u91, mysql5.7.132.操作系统环境准备2.1 配置SSH免密码登录主节点里root用户登录执行如下步骤ssh-keygencd ~/.ssh/cat id_rsa.pub >>authorized_keyschmod ~/.sshchmod ~/.转载 2017-04-29 14:06:31 · 882 阅读 · 0 评论 -
ambari 自动化卸载脚本
#!/bin/bash# uninstall ambari automatic#取得集群的所有主机名,这里需要注意:/etc/hosts配置的IP和主机名只能用一个空格分割hostList=$(cat /etc/hosts | tail -n+3| cut -d ' ' -f 2|grep '.com')#定义ambari组件所在目录对应的变量yumReposDir=/etc/yum转载 2017-04-29 18:21:51 · 1116 阅读 · 0 评论 -
Ambari里如何删除某指定的服务(图文详解)
Ambari 借鉴了很多成熟分布式软件的 API 设计。Rest API 就是一个很好地体现。通过 Ambari 的 Rest API,可以在脚本中通过 curl 维护整个集群。并且,我们可以用 Rest API 实现一些无法在 Ambari GUI 上面做的操作。 目前 Ambari 不支持在 GUI 上面卸载已安装的 Service。所以当一个 Service 不再需要的时候,用户没转载 2017-04-29 18:40:31 · 3479 阅读 · 0 评论 -
hive 总体架构解析
对Hive整体运行流程总结。原创 2017-08-16 10:30:00 · 3141 阅读 · 0 评论 -
HUE安装及问题
在实际企业中一般会使用Hue来取代HWI功能,Hue提供了远远比HWI更加强大丰富的功能。具体安装配置如下: 搭建环境centos6.5 64 如果想在ubuntu开发的话,请参考这里面的文档http://gethue.com/how-to-build-hue-on-ubuntu-14-04-trusty/ 所需的安装包 jdk8 hue-3.11.0.tg转载 2016-12-09 07:55:53 · 4709 阅读 · 1 评论 -
Hive 安装与测试
内容:1. 安装Hive2. 测试Hive运行情况一、Hive 安装 首先,Hive是以来与HDFS之上的应用,所以必须先要安装Hadoop集群;这里我选择MySQL作为,所以再安装Hive前需要安装Mysql,关于MySQL和Hadoop的安装、配置这里不做详细的说明了。 这里我已经装好了Hadoop和Mysql,直原创 2016-11-30 21:10:51 · 1478 阅读 · 0 评论 -
40 CacheManager
第四十课CacheManager本文的主要内容:CacheManager详解 Spark是一体化、多元化的框架。可以使得一个团队和技术堆栈来进行项目的开发。对于迭代式的算法特别有用。(例如多步奏的迭代算法在图计算和机器学习中广泛运用)CacheManager用来管理缓存(缓存不一定在内存中,有可能在磁盘之中)一、CacheManager分析:1. CacheM原创 2016-09-30 02:36:22 · 528 阅读 · 0 评论 -
39 BlockManager深入理解
主要内容:1. BlockManager源码再探2. BlockManagerMaster3. BlockManager具体读写数据源码原创 2016-07-27 02:08:13 · 2200 阅读 · 0 评论 -
32 Spark中的Executor工作原理
内容:1. Spark Executor 工作原理2. ExecutorBackend 注册3. Executor实例化4. Executor 具体工作流程原创 2016-06-01 01:01:04 · 6077 阅读 · 0 评论 -
33 Spark worker原理与源码
内容:1. Spark worker的原理2. Worker 启动Driver3. Worker 启动Executor4. Worker与Master交互原创 2016-06-02 01:13:45 · 795 阅读 · 0 评论 -
30 Spark中的应用程序的注册过程及处理
1. Master接受Driver注册2. Master接受Application注册3. Master接受worker注册4. Master处理Driver状态变化5. Master处理Executor状态变化原创 2016-05-20 01:00:38 · 1517 阅读 · 0 评论 -
37 Spark之Task执行原理及结果
第三十七课 Spark之Task执行原理及结果主要内容1. Task执行原理流程图2. Task执行源码3. Task执行结果在Driver端的处理原创 2016-05-19 10:43:10 · 15562 阅读 · 6 评论 -
34 Spark中任务处理的Stage划分和Task最佳位置算法
本节课的内容1. Job Stage的划分算法2. Task最佳计算位置算法原创 2016-05-17 00:41:52 · 15374 阅读 · 0 评论 -
36 Spark之TaskScheduler Spark shell案例运行日志详解、TaskScheduler和SchedulerBackend、FIFO与FAIR、Task运行时本地性算法详
本节课内容:1. TaskSchedulerBackend与SchedulerBackend2. FIFO与FAIR两种调度模式3. Task数据本地性资源的分配原创 2016-05-15 01:15:01 · 6938 阅读 · 0 评论 -
35 Spark系统运行循环流程
DT大数据梦工厂第三十五课 Spark系统运行循环流程内容:1. TaskScheduler工作原理2. TaskScheduler源码原创 2016-05-14 01:27:38 · 9043 阅读 · 0 评论 -
other: Spark-shell和Spark-submit提交程序的区别
Spark-shell和Spark-submit提交程序的区别原创 2016-05-20 11:19:27 · 6393 阅读 · 1 评论 -
38 Sparkcore中的BlockManager
主要内容:1. BlockManager 运行实例2. BlockManager 原理流程图原创 2016-07-27 01:44:30 · 933 阅读 · 0 评论 -
31 Spark资源调度
Spark Core源码解读之Spark资源调度分配 1.分配Driver(Cluster模式)2.为Application分配资源3.两种不同的资源分配方式4.Spark资源分配的思考原创 2016-05-22 12:39:52 · 1024 阅读 · 0 评论