大数据
文章平均质量分 55
hcp_wade
这个作者很懒,什么都没留下…
展开
-
单机版kafka安装
一.下载配置 下载最新安装包 wget http://mirror.bit.edu.cn/apache/kafka/2.0.0/kafka_2.11-2.0.0.tgz 解压安装包 tar -xzvf kafka_2.11-2.0.0.tgz 修改Server.properties文件 vim kafka_2.11-2.0.0/config/server.properties l...原创 2018-10-25 17:29:24 · 337 阅读 · 1 评论 -
Flume+kafka部署方案
将Flume部署到应用服务器中 Source、Channel、Sink有哪些类型 Flume Source Source类型 | 说明 Avro Source | 支持Avro协议(实际上是Avro RPC),内置支持 Thrift Source | 支持Thrift协...原创 2018-10-25 17:31:21 · 972 阅读 · 1 评论 -
Linux 中部署jar 项目启动脚本
#!/bin/bash #export JAVA_HOME=$JAVA_HOME #export PATH=$PATH:$JAVA_HOME/bin #java虚拟机启动参数 JAVA_OPTS="-ms1024m -mx1024m -Xmn256m -XX:MaxPermSize=128m" #需要启动的Java主程序(main方法类) APP_MAINCLASS=gather-...原创 2018-11-29 15:05:17 · 495 阅读 · 0 评论 -
Centos安装spark
下载spark wget http://archive.apache.org/dist/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.6.tgz 解压、重命名、移动 tar -zxvf spark-2.4.0-bin-hadoop2.6.tgz mv spark-2.4.0-bin-hadoop2.6.tgz spark mv spark /usr...原创 2018-11-30 16:34:18 · 377 阅读 · 0 评论 -
Centos安装scala-2.12.7
安装scala wget https://downloads.lightbend.com/scala/2.12.7/scala-2.12.7.tgz 解压、重命名、移动 tar -zxvf scala-2.12.7.tgz mv scala-2.12.7 scala mv scala /usr/local/share 环境变量 vim /etc/profile export SCA...原创 2018-11-28 15:31:17 · 575 阅读 · 0 评论 -
Hadoop简介
Hadoop简介 分布式存储系统HDFS (Hadoop Distributed File System) 分布式存储系统 提供了 高可靠性、高扩展性和高吞吐率的数据存储服务 分布式计算框架MapReduce 分布式计算框架 具有 易于编程、高容错性和高扩展性等优点 HDFS优点: 高容错性 数据自动保存多个副本 副本丢失后,自动恢复 适合批处理 移动计算而非数据 数据位...原创 2018-12-08 15:13:56 · 313 阅读 · 0 评论 -
Centos 新建hadoop集群
一:环境准备 主机名 ip 说明 dy-master01 192.168.22.134 主节点master,namenode dy-slaver01 192.168.22.135 datanode,secondarynamenode dy-slaver02 192.168.22.133 datanode 二:前提条件 1.jdk export JAVA_HOME=/us...原创 2018-12-08 15:16:01 · 205 阅读 · 0 评论