hadoop生态圈
happyprince
这个作者很懒,什么都没留下…
展开
-
hive创建表错误[ Specified key was too long]
hive创建表出现Specified key was too long的错误描述及其解决方法。原创 2017-09-14 23:48:34 · 537 阅读 · 0 评论 -
大数据学习[10]:Kafka新手入门
摘要:主要是学习Kafka文档,对Kafka官网的Quickstart进行了阅读并试着翻译。 来源:http://kafka.apache.org/quickstartQuickstart快速入门This tutorial assumes you are starting fresh and have no existing Kafka or ZooKeeper data. Since Kafka翻译 2017-09-27 23:03:10 · 4085 阅读 · 1 评论 -
Curl安装(Linux)
摘要:linux系统上Curl工具的安装,遇到Permission denied与error: no acceptable C compiler found in $PATH两问题;安装之后的测试。下载wget https://curl.haxx.se/download/curl-7.53.0.tar.gz解压tar -vxzf curl-7.53.0.tar.gz 编译安装 ./configure原创 2017-09-19 20:06:08 · 5428 阅读 · 0 评论 -
大数据学习[05]:Spark高可用配置安装
摘要:目的是基于zk搭建高可用Spark计算框架;首先安装scala环境;然后,配置spark相关配置文件;最后启动zookeeper,hadoop, spark,查看各个节点的进程情况, 展示demo, 验证spark高可用是怎么一回事。前置linux集群系统配置:[1] 大数据学习前夕[01]:系统-网络-SSH JDK环境:[2] 大数据学习前夕[02]:JDK安装升级 zookeepe原创 2017-09-18 21:10:30 · 987 阅读 · 0 评论 -
大数据学习[04]:Hive安装配置
摘要:hive的安装,可能遇到问题及解决;提及一些hive元数据;提及了一下内外部表。前置linux集群系统配置:[1] 大数据学习前夕[01]:系统-网络-SSH hadoop集群环境:[2] 大数据学习[02]:hadoop安装配置 安装mysql并配置好用户(这个必须要安装与配置的):[3]大数据学习前夕[04]:Mysql安装[Hive]下载[hadoop@hadoop01 ~]$ w原创 2017-09-18 20:03:10 · 482 阅读 · 0 评论 -
大数据学习[09]:presto0.184集群|多数据源|问题
摘要:下载安装presto0.184,配置presto0.184的集群模式,测试presto与多种数据相连接的连接器,包括Hive,Mysql等等。记录安装与配置所遇到的问题和解决方法。前置Hadoop,Hive参考: 大数据学习[04]:Hive安装配置: http://blog.csdn.net/ld326/article/details/78023101 大数据学习[02]:hadoop原创 2017-09-25 20:01:09 · 3780 阅读 · 1 评论 -
大数据学习[03]:hbase安装配置
摘要:基于hadoop2.7.3生态圈及zookeeper3.4.9的集群资源管理来搭建hbase1.3.1; 首先对源代码的下载,编译前的配置修改,使用maven工具进行编译打包,并对编译后的文件进行安装配置,到最后的使用例子;整套思路可以入门提供参考。前置linux集群系统配置:[1] 大数据学习前夕[01]:系统-网络-SSH JDK环境:[2] 大数据学习前夕[02]:JDK安装升级编译打包大数据学习前夕原创 2017-09-17 14:50:47 · 458 阅读 · 0 评论 -
大数据学习前夕[04]:Mysql安装[Hive]
摘要:描述一下mysql在Centos6.9系统上的安装,及应用于Hive用户的root用户授权设置,为了方便对mysql权限设置理解,顺便罗列了mysql中user表的字段,并作相关的说明。系统环境来自“大数据学习前夕[01]:系统-网络-SSH”的系统环境,即是Centos6.9系统之上安装。原创 2017-09-17 08:18:35 · 358 阅读 · 0 评论 -
大数据学习[02]:hadoop安装配置
摘要: 主要基于三台机器之上的hadoop2.7.3的下载、安装,及相关参数配置,所遇问题,Demo等。其中配置,包含hadoop运行环境,yarn运行环境配置,目的是搭建成基于yarn之上的RM运行环境,另外,也对资源限制的情况下作了一个示范性的设置。前置有一个局域网集群,例如在虚拟机上搭建的那样[1]大数据学习前夕[01]:系统-网络-SSH安装好JDK,及环境变量配置好;例如[2]大数据原创 2017-09-16 16:18:17 · 465 阅读 · 0 评论 -
大数据学习[01]:zookeeper环境配置
摘要:主要是对zookeeper的安装、zookeeper集群中各个角色进行查看、集群日志查看、zookeeper的简单命令的操作,作一个初步与感性的操练。前置有一个网络良好局域网环境,可采用虚拟机生成一个,可参考[1]:大数据学习前夕[01]:系统-网络-SSH来构建一个。原创 2017-09-16 10:49:00 · 363 阅读 · 0 评论 -
大数据学习前夕[03]:Maven安装
摘要:Maven项目对象模型(POM),可以通过一小段描述信息来管理项目的构建,报告和文档的软件项目管理工具。Mave安装用来编译java的项目,例如hadoop,hbase等。 注:安装maven前要先安装JDK【1】:大数据学习前夕[02]:JDK安装升级原创 2017-09-16 10:14:49 · 281 阅读 · 0 评论 -
大数据学习前夕[02]:JDK安装升级
摘要:JDK是java运行的核心,而java是hadoop运行的基础,故分享JDK的下载,安装,配置,版本不同的问题,及JDK版本升级。原创 2017-09-16 09:26:37 · 499 阅读 · 0 评论 -
大数据学习前夕[01]:系统-网络-SSH
摘要:对在虚拟机上搭建前期集群环境作一个过程记录,内容分为系统安装,网络设置,SSH配置三点。系统基于Oracle VM VirtualBox虚拟机的Centos6.9操作系统,基于Nat与Host-Only网址配置,思考一下SSH的过程及相关的配置。 前言:分布式系统开始于最底层的系统,有时候很想开始一场比较轰烈的学习,但都结束于开始的那一刻。很多东西都懂,就是懂得不透,懂得不够深刻。根据学原创 2017-09-15 21:14:29 · 473 阅读 · 0 评论 -
大数据学习[08]:基于HDFS存储的Flume-ng1.7.0集群实践
摘要:下载与配置最新版的flume-ng1.7.0.第一步,测试一个Avro例子,第二步,测试一个HDFS例子,最后一步把这两个例子放在一起,从单个节点扩展到三个节点来实现集群,各个子节点上运行agent来收集日志,最后汇总并更新到HDFS上。前置大数据学习前夕【02】:JDK安装升级 大数据学习前夕[01]:系统-网络-SSH: http://blog.csdn.net/ld326/articl原创 2017-09-23 20:51:29 · 487 阅读 · 0 评论 -
连接Presto:SQuirrel SQL Client安装配置
a.安装环境:win7(64位) + jdk7b.下载与安装:SQuirreL SQL Client3.7.1网址:[http://download.csdn.net/download/ld326/9979771](http://download.csdn.net/download/ld326/9979771)下载后解压,点击就可以入去。c. 配置presto 1.加载驱动包,点击Extra C原创 2017-09-15 09:39:11 · 1682 阅读 · 0 评论 -
大数据学习[20]---Spark基本架构及原理[转]
题目:Spark(一): 基本架构及原理 作者:天戈朱 链接:http://www.cnblogs.com/tgzhu/p/5818374.html Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架,最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一,与...转载 2018-02-25 15:48:55 · 535 阅读 · 0 评论