![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
zaiou
java
展开
-
hadoop(一)、Linux之CentOS7.5安装及克隆
添加普通用户hadoopuseradd hadooppasswd hadoop给hadoop用户sudo权限chmod u+w /etc/sudoersvi /etc/sudoers添加hadoop ALL=(ALL) ALL或者hadoop ALL=(root) NOPASSWD:ALL切换到hadoop用户su - hadoop安装到/home/hadoop/hadoo...原创 2018-12-11 16:15:05 · 503 阅读 · 0 评论 -
Hadoop(十四)、hbase数据模型
参考文档:https://www.jianshu.com/p/5ce9b72e3341转载 2019-04-17 16:45:14 · 125 阅读 · 0 评论 -
hadoop(十八)、Cloudera(CDH) 安装和部署--centos7
一、环境准备1.1 修改host文件主机之间都能够使用主机名称的方式相互访问而不是IP,我们需要在hosts中配置其他主机的host:vi /etc/hosts# 分别在各自主机添加关联主机的 (ip 主机名)172.16.197.128 hdp1172.16.197.129 hdp21.2 设置ssh免密# 在各个主机执行下列操作ssh-keygen -t rsass...原创 2019-04-22 16:27:52 · 372 阅读 · 0 评论 -
hadoop(十五)、hbase基本shell
参考文档: https://www.cnblogs.com/cxzdy/p/5583239.html转载 2019-04-18 12:42:53 · 111 阅读 · 0 评论 -
hadoop(十六)、hbase java API
参考文档:https://www.cnblogs.com/liuwei6/p/6842536.html转载 2019-04-18 16:29:06 · 79 阅读 · 0 评论 -
hadoop(十七)、MapReduce操作Hbase
参考文档:http://www.cnblogs.com/qingyunzong/p/8681490.html转载 2019-04-18 16:54:56 · 82 阅读 · 0 评论 -
linux crontab定时任务详解
参考文档:https://www.cnblogs.com/longjshz/p/5779215.html转载 2019-05-20 16:54:35 · 106 阅读 · 0 评论 -
Scala-2.13.0 安装
1、下载wget https://downloads.lightbend.com/scala/2.13.0-M5/scala-2.13.0-M5.tgz2、配置环境变量sudo vi /etc/profile#scalaexport SCALA_HOME=/opt/module/scala-2.13.0export PATH=${SCALA_HOME}/bin:$PATH使环境变量...原创 2019-06-20 09:23:30 · 1204 阅读 · 0 评论 -
spark2.4安装
1、配置环境变量export SPARK_HOME=/opt/module/spark-2.4.3export PATH=$PATH:$SPARK_HOME/binsource /etc/profile2、spark-env.sh文件配置cd /opt/module/spark-2.4.3/conf/ cp spark-env.sh.template spark-env.sh vi...原创 2019-06-21 09:13:50 · 448 阅读 · 0 评论 -
hadoop(十三)、hbase安装
参考文档:https://blog.csdn.net/weixin_41122339/article/details/81840794原创 2019-04-17 16:27:41 · 132 阅读 · 0 评论 -
hadoop(十二)、Flume基本介绍
一、Flume基本概念flume是分布式的、可靠的、高可用的,用于对不同来源的大量日志数据进行有效采集、聚集和移动,并以集中式的数据存储的系统二、flume中重要的模型1、flume Event:flume 事件,被定义为一个具有有效荷载的字节数据流和可选的字符串属性集。2、flume Agent:flume 代理,是一个进程承载从外部源事件流到下一个目的地的过程。包含source c...原创 2019-03-28 11:30:34 · 416 阅读 · 0 评论 -
hadoop(十一)、Flume安装配置
一、下载安装1、下载地址:http://flume.apache.org/download.html2、解压 tar -xvf flume-1.8.0-bin.tar.gz3、配置环境变量:vi .bash_profile #flume export FLUME_HOME=/opt/module/flume-1.8.0-bin export PATH=$PATH:...原创 2019-03-28 10:55:26 · 142 阅读 · 0 评论 -
hadoop(二)、CentOS7搭建Hadoop3.0.3完全分布式集群
参考文档:https://www.cnblogs.com/frankdeng/p/9047698.html注:修改部分slaves 文件已经被换名为 workers转载 2018-12-17 16:32:01 · 284 阅读 · 0 评论 -
hadoop(三)、Java操作HDFS开发环境搭建以及HDFS的读写流程
参考文档:https://blog.51cto.com/zero01/2090901转载 2019-03-05 10:21:17 · 277 阅读 · 0 评论 -
hadoop(六)、linux环境部署zookeeper
参考文档:https://www.cnblogs.com/wrong5566/p/6056788.html补充:1)配置文件zoo.cfg中:server.A=B:C:D中的A是一个数字,表示这个是第几号服务器,B是这个服务器的IP地址,C第一个端口用来集群成员的信息交换,表示这个服务器与集群中的leader服务器交换信息的端口,D是在leader挂掉时专门用来进行选举leader所用的端...原创 2019-03-14 11:21:41 · 117 阅读 · 0 评论 -
hadoop(二)、HDFS基本命令的使用
hadoop fs -ls [hdfs目录] 显示当前目录结构,-ls -R 递归显示目录结构hadoop fs -put [文件] [hdfs目录] 从本地加载文件到HDFShadoop fs -cat [hdfs目录下文件] 查看hdfs文件详情hadoop fs -get [hdfs文件] [本地目录] 从HDFS导出文件到本地,默认到当前文件夹hadoop fs ...原创 2019-03-04 17:18:11 · 285 阅读 · 0 评论 -
hadoop(八)、hive简介
一、什么是hivehive利用hdfs存储数据,hive将HQL转换成MapReduce执行查询数据,所以说Hive是基于Hadoop的一个数据仓库工具,实质就是一款基于HDFS的MapReduce计算框架,对存储在HDFS中的数据进行分析和管理二、Hive待补充参考文档:https://www.cnblogs.com/qingyunzong/p/8707885.html...原创 2019-03-19 17:00:44 · 189 阅读 · 0 评论 -
hadoop(四)、MapperReduce入门Wordcount案例
WordCount程序分为三个部分,,当然在计算模型里面只有mapper任务和reduce任务,这里我们加入一个驱动程序即Runner类。(1)WorkCountMapper的代码package com.zaiou.hadoop.MrWordCount;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io....原创 2019-03-11 11:20:22 · 353 阅读 · 0 评论 -
hadoop(七)、Zookeeper实现分布式应用系统服务器上下线动态感知
需求:客户端能够实时监控到服务器上下线的变化实现:1、服务端启动的时候去zk注册临时序列化节点2、客户端启动去getChildren获取子节点,并监听节点的动态变化3、客户端process中根据服务端上下线的动态变化实时监听,获取最新服务端情况参考文档:https://blog.csdn.net/cckevincyh/article/details/80730081...原创 2019-03-18 09:55:14 · 221 阅读 · 0 评论 -
hadoop(五)、zookeeper相关功能及原理
一、zookeeper概念简介Zookeeper是一个分布式协调服务;就是为用户的分布式应用程序提供协调服务A、zookeeper是为别的分布式程序服务的B、zoopkeeper本身就是一个分布式程序(只要半数以上节点存活,zk就能正常服务)C、zookeeper所提供的服务涵盖:主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务等…D、虽然说可以提供各种服务,但是...原创 2019-03-13 14:42:16 · 311 阅读 · 0 评论 -
大数据部署过程-非cloudera
一、centos7安装和部署https://www.cnblogs.com/frankdeng/p/9027037.html2、hadoop部署https://blog.csdn.net/qq_34300892/article/details/85051513原创 2019-07-09 17:59:01 · 113 阅读 · 0 评论