大数据
大数据
shpunishment
这个作者很懒,什么都没留下…
展开
-
Hive 安装与使用
文章目录1. 简介2. 安装2.1 Hive CLI2.2 HiveServer2 和 Beeline3. 测试WordCount1. 简介2. 安装安装 Hadoop 3.1.2使用hadoop账号,解压压缩包添加环境变量vi ~/.bashrcexport HIVE_HOME=/home/hadoop/softwares/hive/apache-hive-3.1.2-binexport HADOOP_HOME=/home/hadoop/softwares/hadoop/hadoop-3原创 2020-09-17 10:31:18 · 216 阅读 · 0 评论 -
HBase 独立模式、伪分布式和分布式安装与使用
文章目录1.2. 安装2.1 独立模式2.2 伪分布式2.3 分布式1.2. 安装官网下载2.1 独立模式一个独立的实例具有所有HBase守护程序(主服务器,RegionServers和ZooKeeper),它们在单个JVM中运行,并保留在本地文件系统中。配置JAVA_HOME,修改conf/hbase-env.sh添加export JAVA_HOME=/usr/local/softwares/java/jdk1.8.0_161启动./bin/start-hbase.sh访问htt原创 2020-09-17 15:43:37 · 264 阅读 · 0 评论 -
Presto 官方版 单机和集群安装与使用
文章目录1. 简介2. 安装2.1 单节点2.2 客户端2.2.1 命令行2.2.2 JDBC2.3 伪集群2.3.1 Coordinator2.3.2 Worker1. 简介2. 安装2.1 单节点官网下载解压,然后在安装目录中创建文件夹etc,在文件夹etc中依次创建配置文件:node.properties、jvm.config、config.properties、log.properties,还有连接器配置。node.properties(节点属性,特定于每个节点的环境配置)node.e原创 2020-09-16 10:23:31 · 1095 阅读 · 0 评论 -
Kafka 单机和集群安装与使用
1. 简介这是一个实时数据处理系统,可以横向扩展、高可靠,而且还很快,已经被很多公司使用。实时数据处理系统呢?实时数据处理系统就是数据一旦产生,就要能快速进行处理的系统。对于实时数据处理,我们最常见的,就是消息中间件了,叫MQ(Message Queue,消息队列),也有叫Message Broker的。消息中间件:指利用高效可靠的消息传递机制进行平台无关的数据交流作用主要有两点:解耦消息的生产和消费。缓冲。消息和批次Kafka的数据单元被称为消息。可以把消息看成是数据库里的一个“数原创 2020-06-11 09:45:58 · 292 阅读 · 0 评论 -
Zookeeper 单机和集群安装与使用
zookeeper安装zookeeper 单机,集群安装https://blog.csdn.net/vbirdbest/article/details/82688462https://blog.csdn.net/qq_41354631/article/details/81568693zookeeper 客户端命令https://zookeeper.apache.org/doc/current/zookeeperCLI.html下载https://zookeeper.apache.org/rel原创 2020-05-19 10:53:55 · 254 阅读 · 3 评论 -
NiFi 单机和集群安装与使用
文章目录1. 安装1.1 压缩包安装1.2 Docker安装2. 使用1. 安装1.1 压缩包安装NiFi官网下载mkdir /usr/local/softwares/nifitar -zxvf nifi-1.10.0-bin.tar.gz -C /usr/local/softwares/nifi在NiFi安装目录下执行可在conf/nifi.properties修改端口,原808...原创 2020-01-03 11:12:40 · 1411 阅读 · 5 评论 -
HDFS 添加组和用户
Hadoop 3.1.2 独立模式,单节点和多节点伪分布式安装与使用创建Hadoop集群的时候,创建并使用了hadoop用户,Hadoop也装在hadoop用户目录下。当Linux用户切换成root访问HDFS时,会报权限错误。HDFS本身的用户和组都是同步Linux系统的,默认supergroup组和hadoop用户,在Linux组中默认没有supergroup。创建supergro...原创 2020-01-03 10:36:09 · 6274 阅读 · 0 评论 -
IDEA 提交 MapReduce 到 Hadoop 集群的 Yarn 上运行
安装Hadoop集群环境Hadoop 3.1.2 独立模式,单节点和多节点伪分布式安装与使用在此WordCount V1.0上进行修改IDEA上运行Hadoop WordCount V1.0 和 V2.0将Hadoop集群环境中的core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml添加到resource文件夹中在WordCoun...原创 2019-09-24 16:50:31 · 1131 阅读 · 0 评论 -
IDEA 上运行 Hadoop WordCount V1.0 和 V2.0
hadoop 3.1.2 windows独立模式,单节点安装与使用maven依赖<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>3.1.2</version...原创 2019-09-17 11:41:22 · 598 阅读 · 0 评论 -
Hadoop Windows 单节点安装与使用
下载hadoophttps://hadoop.apache.org/releases.html管理员身份解压环境变量HADOOP_HOME系统变量HADOOP_HOME\binHADOOP_HOME\sbin修改 etc/hadoop/core-site.xmlhadoop.http.staticuser.user 设置和命令行相同的用户名比较好fs.defaultFS...原创 2019-09-17 10:30:52 · 615 阅读 · 0 评论 -
Java Api 操作 HDFS
在resource文件夹下放入core-site.xml和hdfs-site.xmlpublic class HdfsTest { private static Configuration conf; private static FileSystem fs; static{ try { //读取core-site.xml和hd...原创 2019-08-22 17:50:38 · 155 阅读 · 0 评论 -
Hadoop 独立模式,单节点和多节点伪分布式安装与使用
安装centos7https://blog.csdn.net/LLJJYY001/article/details/80206578也将其加到主机的hosts中192.168.110.40 hadoop-master192.168.110.41 hadoop-slave1192.168.110.42 hadoop-slave2安装与配置java安装并配置jdktar -zxvf jd...原创 2019-08-14 15:31:31 · 657 阅读 · 0 评论 -
Ambari 2.7.3 + HDP 3.1.0 安装
文章目录1. 介绍1.1 Ambari1.2 HDP1.3 HDP-UTILS集群节点规划[root@node-1 zookeeper]# ambari-server setupUsing python /usr/bin/pythonSetup ambari-serverChecking SELinux...SELinux status is 'disabled'Customize u...原创 2019-07-23 16:45:02 · 6063 阅读 · 1 评论