大数据
关注
分享
扫一扫
王忠海
这个作者很懒，什么都没留下…
展开
-
Flume架构以及应用介绍
在具体介绍本文内容之前，先给大家看一下Hadoop业务的整体开发流程： 从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步，从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。 （一）Flume架构介绍 1、Flume的概念 flume是分布式的日志收集系统，它将各个服务...转载 2018-04-24 10:54:22 · 299 阅读 · 0 评论 -
centos7安装Hive2.3.0
1、下载Hive2.3.0wget http://mirror.bit.edu.cn/apache/hive/hive-2.3.0/apache-hive-2.3.0-bin.tar.gz12、解压到指定安装目录tar -zxvf apache-hive-2.3.0-bin.tar.gzmv apache-hive-2.3.0-bin /usr/local/hivecd /usr/local/...转载 2018-04-18 18:49:36 · 210 阅读 · 0 评论 -
CentOS7.0安装配置Storm集群
1.环境准备操作系统: CentOS7.0Zookeeper版本：zookeeper-3.4.10Storm版本：apache-storm-1.1.0JDK版本：jdk1.8.0_77Python版本：集群配置如下：#oshostnameipsoftwarenotes1CentOS7apollo.dt.com192.168.56.1811.zookeeper2.stormmaster2CentOS...转载 2018-03-30 16:46:18 · 217 阅读 · 0 评论 -
CentOS7安装Hadoop2.7完整步骤
总体思路，准备主从服务器，配置主服务器可以无密码SSH登录从服务器，解压安装JDK，解压安装Hadoop，配置hdfs、mapreduce等主从关系。1、环境，3台CentOS7，64位，Hadoop2.7需要64位Linux，CentOS7 Minimal的ISO文件只有600M，操作系统十几分钟就可以安装完成，Master 192.168.0.182 Slave1 192.168.0.183 ...转载 2018-03-30 17:32:19 · 1121 阅读 · 0 评论 -
Linux安装Spark集群(CentOS7+Spark2.1.1+Hadoop2.8.0)
1 安装Spark依赖的Scala 1.1下载和解压缩Scala 1.2 配置环境变量 1.3 验证Scala2下载和解压缩Spark 2.1 下载Spark压缩包 2.2 解压缩Spark3 Spark相关的配置 3.1 配置环境变量 3.2 配置conf目录下的文件 ...转载 2018-04-10 12:43:22 · 3631 阅读 · 0 评论 -
Spark2.1.1中用各种模式运行计算圆周率的官方Demo
1使用单机local模式提交任务2使用独立的Spark集群模式提交任务3使用Spark集群 +Hadoop集群的模式提交任务 3.1用yarn-client模式执行计算程序 3.1.1操作步骤和方法 3.1.2常见错误解决 3.1.2.1 Yarn applicationha...转载 2018-04-10 12:45:01 · 1516 阅读 · 0 评论 -
CentOS7 下Hive2.1.0 安装配置
1` 安装MySql在安装之前，需要先安装MySql，Hive默认使用内嵌的DerBy作为元数据库，但是鉴于其单会话限制，这里使用Mysql作为元数据库检查是否装有Mysql：[plain] view plain copy$ netstat -tap | grep mysql 如果有输出，说明已经有mysql，如果没有需要安装* CentOS7环境中默认把ifconfig和netstat取消掉了...转载 2018-04-18 14:59:48 · 207 阅读 · 0 评论 -
hadoop hdfs常用命令
1.hadoop fs 查看Hadoop HDFS支持的所有命令 2.hadoop fs –ls 列出目录及文件信息 3. hadoop fs –lsr 循环列出目录、子目录及文件信息 4.hadoop fs –put test.txt /user/sunlightcs 将本地文件系统的test.txt复制到HDFS文件系统的/user/sunlightcs目...原创 2018-04-19 09:53:42 · 155 阅读 · 0 评论 -
hadoop hdfs常用命令
hadoop hdfs常用命令 hadoop常用命令： hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 hadoop fs –lsr 循环列出目录、子目录及文件信息 hadoop fs –put test.txt /user/sunlightcs 将本地文件系统的test.txt复制到HDFS文件系统的/user/sunlight...转载 2018-04-19 09:56:52 · 325 阅读 · 0 评论 -
区块链 Hyperledger - 超级账本项目在centos7环境下的安装与部署
微软开源区块链平台项目 Bletchleylinux开源项目 Hyperledger Fabric分布式总账区块链工具 Openchain点对点的多态数字资产交易系统 BitShares区块链简单介绍区块链已经成为当下最受人关注的开源技术，有人说它将颠覆金融行业的未来。然而对很多人来说，区块链技术难以理解和实现，而且缺乏统一的规范。 2015 年 12 月，Linux 基金 会牵头，联合 30 家...转载 2018-04-20 14:12:36 · 857 阅读 · 0 评论 -
Kafka安装及部署
阅读目录一、环境配置二、操作过程Kafka介绍 安装及部署回到顶部一、环境配置操作系统：Cent OS 7Kafka版本：0.9.0.0Kafka官网下载：请点击JDK版本：1.7.0_51SSH Secure Shell版本：XShell 5回到顶部二、操作过程1、下载Kafka并解压下载:curl -L -O http://mirrors.cnnic.cn/apache/kafka/0.9.0...转载 2018-04-26 15:12:52 · 394 阅读 · 0 评论