大数据
文章平均质量分 64
hcp_wade
这个作者很懒,什么都没留下…
展开
-
单机版kafka安装
一.下载配置下载最新安装包wget http://mirror.bit.edu.cn/apache/kafka/2.0.0/kafka_2.11-2.0.0.tgz解压安装包tar -xzvf kafka_2.11-2.0.0.tgz修改Server.properties文件vim kafka_2.11-2.0.0/config/server.propertiesl...原创 2018-10-25 17:29:24 · 302 阅读 · 1 评论 -
Flume+kafka部署方案
将Flume部署到应用服务器中 Source、Channel、Sink有哪些类型 Flume Source Source类型 | 说明 Avro Source | 支持Avro协议(实际上是Avro RPC),内置支持 Thrift Source | 支持Thrift协...原创 2018-10-25 17:31:21 · 938 阅读 · 1 评论 -
Linux 中部署jar 项目启动脚本
#!/bin/bash#export JAVA_HOME=$JAVA_HOME#export PATH=$PATH:$JAVA_HOME/bin #java虚拟机启动参数 JAVA_OPTS="-ms1024m -mx1024m -Xmn256m -XX:MaxPermSize=128m" #需要启动的Java主程序(main方法类) APP_MAINCLASS=gather-...原创 2018-11-29 15:05:17 · 479 阅读 · 0 评论 -
Centos安装spark
下载sparkwget http://archive.apache.org/dist/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.6.tgz解压、重命名、移动tar -zxvf spark-2.4.0-bin-hadoop2.6.tgzmv spark-2.4.0-bin-hadoop2.6.tgz sparkmv spark /usr...原创 2018-11-30 16:34:18 · 344 阅读 · 0 评论 -
Centos安装scala-2.12.7
安装scalawget https://downloads.lightbend.com/scala/2.12.7/scala-2.12.7.tgz解压、重命名、移动tar -zxvf scala-2.12.7.tgzmv scala-2.12.7 scalamv scala /usr/local/share环境变量vim /etc/profileexport SCA...原创 2018-11-28 15:31:17 · 545 阅读 · 0 评论 -
Hadoop简介
Hadoop简介分布式存储系统HDFS (Hadoop Distributed File System)分布式存储系统提供了 高可靠性、高扩展性和高吞吐率的数据存储服务分布式计算框架MapReduce分布式计算框架具有 易于编程、高容错性和高扩展性等优点HDFS优点:高容错性数据自动保存多个副本副本丢失后,自动恢复适合批处理移动计算而非数据数据位...原创 2018-12-08 15:13:56 · 303 阅读 · 0 评论 -
Centos 新建hadoop集群
一:环境准备主机名ip说明dy-master01192.168.22.134主节点master,namenodedy-slaver01192.168.22.135datanode,secondarynamenodedy-slaver02192.168.22.133datanode二:前提条件1.jdkexport JAVA_HOME=/us...原创 2018-12-08 15:16:01 · 179 阅读 · 0 评论