![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据折腾记
文章平均质量分 79
大猿小猿向前冲
心之所向,素履以往。 生如逆旅,一苇以航。
展开
-
用idea开发我们的spark项目
写在前面如果你是刚入行的java(或大数据)菜鸟,如果你还不会使用idea这样的“神兵利器”,如果你还对 mvn clean package 这样的命令一知半解。那么,你有必要花点时间,瞧一瞧这篇文章,正所谓,“工欲善其事,必先利其器”,它将指导你一步一步用idea开发出我们的spark程序,用maven编译打包我们的Scala(Scala与Java混合)代码。当然,大神请自动忽略。开发环境...原创 2019-07-30 13:49:20 · 579 阅读 · 0 评论 -
CDH6.2.0安装、踩坑实录
写在前面官方资料ClouderaManager下载地址https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/managerCDH6.2.0安装包地址:https://archive.cloudera.com/cdh6/6.2.0/parcels/由于我们的操作系统为CentOS7,需要下载以下文件:parcels...原创 2019-07-30 13:48:17 · 3054 阅读 · 0 评论 -
Flink高可用集群搭建
部署flink的准备工作flink版本的选择需要考虑hadoop的版本,本集群hadoop的版本为2.7.4,flink的版本为flink-1.7.2-bin-hadoop27-scala_2.11.tgzflink高可用集群需要依赖zookeeper开始安装1. 编辑flink的配置文件 flink-conf.yaml# 这里选择配置主节点jobmanager.rpc.addre...原创 2019-07-30 13:47:07 · 727 阅读 · 1 评论 -
Kafka集群部署与配置
开始安装配置Kafaka1. 编辑server.properties文件############################# Server Basics ############################## The id of the broker. This must be set to a unique integer for each broker.broker....原创 2019-07-30 13:46:20 · 461 阅读 · 1 评论 -
Spark On Yarn 部署与配置
开始安装部署spark1. 编辑 spark-env.sh我的配置:export SPARK_HOME=/home/hadoop/spark-2.4.3-bin-hadoop2.7export SCALA_HOME=/usr/local/scala-2.11.8export JAVA_HOME=/usr/local/javaexport HADOOP_HOME=/home/hadoop...原创 2019-07-30 13:45:24 · 5213 阅读 · 2 评论 -
Hive的安装与配置
安装与配置hive安装hive之前需要到官网查询hive与Hadoop版本的兼容性。这里我所选的hive和Hadoop的版本如下:hadoop-2.7.4hive-2.3.51. 编辑hive的环境变量2. 编辑 hive-env.sh 文件# The heap size of the jvm stared by hive shell script can be controlle...原创 2019-07-30 13:44:23 · 427 阅读 · 1 评论 -
Hbase高可用集群搭建
集群资源与角色规划node1node2node3node4node5zookeeperzookeeperzookeepernn1nn2datanodedatanodedatanodedatanodedatanodejournaljournaljournalrm1rm2nodemanagernodem...原创 2019-07-30 13:43:21 · 395 阅读 · 1 评论 -
Hadoop高可用集群搭建
集群资源与角色规划node1node2node3node4node5zookeeperzookeeperzookeepernn1nn2datanodedatanodedatanodedatanodedatanodejournaljournaljournalrm1rm2nodemanagernodem...原创 2019-07-30 13:42:02 · 354 阅读 · 0 评论 -
Hadoop集群搭建前的准备工作
一、硬件环境集群由五个虚拟机节点组成,每个虚拟机节点的配置如下:操作系统:CentOS 7 (64 位)CPU 6 core内存 16G硬盘 800G二、网络环境主机名和IP规划主机名ipnode1192.168.124.101node2192.168.124.102node3192.168.124.103node4192.168....原创 2019-07-30 13:38:11 · 769 阅读 · 1 评论 -
死磕spark中的job、stage、task
写在前面台风夜的电话面试里被问到了spark运行任务的过程中stage的划分依据。一下子就给整懵了,支支吾吾答非所问。从事大数据的开发也有一年半光景,spark任务的运行原理依旧知之甚少。因此就参阅各种优秀的文章,再配上一个自己工作中的实际项目,特意整理出这篇笔记,以此警示自己的自大与无知。测试环境本地开发环境idea 2019.1.2maven 3.6spark 2.4.3sca...原创 2019-08-14 22:19:38 · 1516 阅读 · 0 评论