大数据
文章平均质量分 70
agent_x
这个作者很懒,什么都没留下…
展开
-
hadoop源码编译
Hadoop源码编译: 系统:CentOS 7 源码:hadoop-2.7.31.安装Java要求jdk 1.7+以上版本,下载系统对应版本,这里我们使用jdk1.8。最好卸载之前系统自带的OpenJDK,这里使用rpm安装rpm -ivh jdk-8u131-linux-x64.rpm2.安装mavenyum install -y maven3、安装protobuf和findbugs hadoop原创 2017-07-12 14:50:17 · 275 阅读 · 0 评论 -
hive 运行中断
在每台服务器上执行:ntpdate asia.pool.ntp.org 同步所有的服务器的时间不能联网时的时间同步hive java heap space原创 2017-11-28 22:11:36 · 1942 阅读 · 0 评论 -
hive安装及mysql配置
centOS7 hive安装以及配置MySQL 为hive metastore原创 2017-11-28 23:06:08 · 11067 阅读 · 0 评论 -
Hadoop核心之HDFS 架构设计
来自:http://blog.csdn.net/suifeng3051/article/details/48548341 概述:HDFS即Hadoop Distributed File System分布式文件系统,它的设计目标是把超大数据集存储到分布在网络中的多台普通商用计算机上,并且能够提供高可靠性和高吞吐量的服务。分布式文件系统要比普通磁盘文件系统复杂,因为它要引入网络编程,分布式文件系统要容转载 2017-11-29 11:15:29 · 313 阅读 · 0 评论 -
Windows源码编译Hadoop 2.8.0
相关依赖1.JDK 1.7+ 2.maven 3.0+ 3.findbugs 4.zlib headers 1.2.7+ (如果要编译得到native code) 5.cmake 2.6+ 6.protocbuffer 2.5.0 7.windows SDK or Visual Studio 2010 SP1(如果是vs2010,最好升级为sp1,否则那个cvtres.exe会疯掉)原创 2017-08-01 22:52:50 · 3760 阅读 · 1 评论 -
IDEA中使用Spark SQL 连接Hive
IDEA中使用Spark SQL 连接HiveSpark SQL命令行模式是可以直接连接Hive的,Hive的安装和mysql作为metastore配置可以参考文章。将hive-site.xml复制到Spark-Home/conf目录下即可。但是通常我们需要使用IDEA开发调试程序,在IDEA中连接Hive有些需要注意的地方,这里记录一下,折腾了一下午。1. 复制hive-site.xml将Spar原创 2018-04-15 19:39:38 · 23659 阅读 · 9 评论