大数据
文章平均质量分 53
独者looc
if(programer)
{
printf("single");
}
展开
-
Kafka-0.10.1集群的安装和配置
准备1.kafka_2.10-0.10.1.1.tgz2.安装配置好的Zookeeper-3.4.10分布式集群 mini1:192.168.213.133 mini2:192.168.213.134 mini3:192.168.213.135安装1.解压kafka_2.10-0.10.1.1.tgz安装包实现安装# tar -zxvf kafka_2.原创 2017-11-02 17:34:35 · 631 阅读 · 0 评论 -
通过JDBC连接Hive以及常见异常处理方式
环境1.hadoop-2.7.3集群2.hive-1.2.2测试代码1.JDBCUtils.javapackage demo.utils;import java.sql.*;public class JDBCUtils { private static String driver = "org.apache.hive.jdbc.HiveDrive原创 2017-08-23 09:24:56 · 12879 阅读 · 0 评论 -
关于CDH页面下载HDFS文件地址解析出错
错误情况 点击Download出现地址解析错误 解决办法将linux中/etc/hosts文件中的集群配置信息(ip 主机名)写入C:\Windows\System32\drivers\etc\hosts中 Over原创 2017-08-22 15:00:43 · 1936 阅读 · 2 评论 -
Sqoop-1.4.6的安装和配置
准备工作1.搭建好的hadoop分布式系统2.mysql-connector-java-5.1.43-bin.jar和sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz安装包安装解压sqoop安装包实现sqoop的安装#tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /u原创 2017-08-22 10:57:44 · 669 阅读 · 0 评论 -
关于通过Eclipse上传文件到HDFS文件为空的问题
解决办法第一种:#iptables -F注:将每一个节点的防火墙关闭。因为造成文件为空的原因可能是节点与节点之间出现了访问权限限制的问题,导致文件上传失败。第二种: 将hdfs-site.xml文件中的dfs.data.dir和core-site.xml文件中的hadoop.tmp.dir的路径指定为linux操作系统中已经存在的同一个路径。Over原创 2017-08-21 16:43:03 · 3393 阅读 · 0 评论 -
Hive-1.2.1远程模式的安装和配置
准备工作1.搭建好的Hadoop分布式系统2.apache-hive-1.2.1-bin.tar.gz和mysql-connerctor-java-5.1.43-bin.jar在mysql数据库上创建hive数据库用于保存hive元数据#mysql -u root -p>输入密码mysql>create database hive;安装解压apache-原创 2017-08-17 12:33:31 · 1015 阅读 · 0 评论 -
Hbase-1.2.6的安装和配置
准备工作1.搭建好的hadoop分布式集群2.hbase-1.2.6-bin.tar.gz安装1.解压hbase-1.2.6-bin.tar.gz完成安装#tar -zxvf hbase-1.2.6-bin.tar.gz -C /usr/local/hadoop配置1.添加环境变量#vim /etc/profile添加如下记录:原创 2017-04-27 12:03:35 · 4671 阅读 · 0 评论 -
Eclipse Hadoop开发环境搭建
准备工作搭建完成的Hadoop分布式集群或者伪分布式。eclipse.zip包hadop-2.5.0.tzr.gz包hadoop-eclipse-plugin-2.5.0.jar插件备用文件: hadoop.dll winutils.exe文件目录 如图所示: 1. eclipse-java-neon-x86_64.zip解压及安装eclipse。 2. ha原创 2017-03-28 15:42:14 · 521 阅读 · 0 评论 -
Hadoop-2.5.0 完全分布式搭建
一、准备1.ubuntu 16.04的系统四台(一个master节点,三个slave节点)。2.jdk-8u121-linux-x64.tar.gz3.hadoop-2.5.0.tar.gz二、安装JDK(全部虚拟机都要安装JDK并配置环境变量)1.修改虚拟机的主机名 分别命名为: master slave1 slave2 slave3 注意:重启虚拟机生效原创 2017-03-09 17:31:09 · 418 阅读 · 0 评论 -
ZooKeeper-3.4.10的安装和配置
准备工作1.搭建好的hadoop分布式系统2.zookeeper-3.4.10.tar.gz安装解压zookeeper-3.4.10.tar.gz包完成安装#tar -zxvf zookeeper-3.4.10.tar.gz -C /usr/local/hadoop配置1.添加环境变量#vim /etc/profile添加如下记录:原创 2017-08-24 20:12:43 · 975 阅读 · 0 评论 -
Spark SQL DataFrame 小案例
package com.looc.spark.hpeuimport org.apache.spark.sql.{Row, SQLContext}import org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType}import org.apache.spark.{SparkConf, Spar原创 2017-11-02 16:31:09 · 293 阅读 · 0 评论 -
Storm-1.1.0集群的安装和配置
准备1.apache-storm-1.1.0.tar.gz2.安装配置好的Zookeeper-3.4.10分布式集群 mini1:192.168.213.133 mini2:192.168.213.134 mini3:192.168.213.135安装1.解压apache-storm-1.1.0.tar.gz安装包实现安装# tar -zxvf apac原创 2017-10-23 17:47:03 · 680 阅读 · 0 评论 -
Spark-2.1.1集群的安装和配置(基于Hadoop-2.7.3)
准备1.安装配置好的Hadoop-2.7.3分布式集群 namenode: mini1:192.168.213.133 datanode: mini2:192.168.213.134 mini3:192.168.213.1352.安装配置JDK3.配置SSH免密码登陆4.spark-2.1.1-bin-hadoop2.7.tgz安装包安装1.解压spark-2原创 2017-09-25 16:18:42 · 1929 阅读 · 0 评论 -
Azkaban-2.5.0的安装和配置
Azkaban是由LinkedIn开发的调度工具,可以用于调度Hadoop中的相互依赖的Job。有时候,在hadoop集群中运行的Job是相互依赖的,某些任务需要顺序的执行,这种场景下使用Azkaban能够很好的解决问题。 Azkaban有三个重要的组件构成: 关系型数据库(MySQL) AzkabanWebServer AzkabanExecutorServer 三个原创 2017-09-01 14:03:09 · 874 阅读 · 1 评论 -
Flume-1.7.0的安装和配置
Flume是什么 Flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。但随着 FLume 功能的扩展,Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来,尤其是在 Flume OG 的最后一个发行版本 0原创 2017-08-31 19:52:44 · 611 阅读 · 0 评论 -
HDFS Java 客户端开发(开发环境:Windows)
HDFS是一个分布式文件系统,既然是文件系统,就可以对其中的文件进行操作,比如说新建文件夹、上传文件,重命名文件,下载文件,删除文件、列举所有文件等操作。HDFSClient.javapackage com.looc.client;import java.io.FileNotFoundException;import java.io.IOException;import org原创 2017-08-31 10:06:49 · 419 阅读 · 0 评论 -
Hadoop-2.7.3 HA 完全分布式搭建
准备工作1.安装包版本以及功能 软件名 版本号 功能 Hadoop hadoop-2.7.3.tar.gz 为海量数据提供分布式存 储(HDFS)和分布式计算 (YARN)。 ZooKeeper zookeeper-3.4.10.tar.gz 一个分布式应用程序协调 服务,为应用提供一致性服 务,是 Hadoop 和 Hbase 的 重原创 2017-08-29 09:38:02 · 1622 阅读 · 2 评论 -
ZooKeeper-3.4.10 Java API的使用样例
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务框架,包含一组简单的原语集合。通过这些原语言的组合使用,能够帮助我们解决更高层次的分布式问题。package demo.jdbc.zookeeper.main;import org.apache.zookeeper.CreateMode;import org.apache.zookeeper.KeeperExcepti原创 2017-08-28 16:49:43 · 540 阅读 · 0 评论 -
Hadoop-2.5.0 伪分布式搭建
一、准备1.ubuntu 16.04的系统一台。2.jdk-8u121-linux-x64.tar.gz3.hadoop-2.5.0.tar.gz二、安装JDK1.安装# tar -zxvf jdk-8u121-linux-x64.tar.gz -C /usr/local/jvm2.配置java环境变量# vim /etc/profile原创 2016-12-08 17:50:17 · 1267 阅读 · 0 评论