大数据
文章平均质量分 92
yyangqqian
这个作者很懒,什么都没留下…
展开
-
ElasticSearch 之学习
文章目录安装下载地址单节点安装HEAD 插件安装分布式安装安装 Kibana安装下载地址ElasticSearch: https://mirrors.huaweicloud.com/elasticsearch/?C=N&O=Dlogstash: https://mirrors.huaweicloud.com/logstash/?C=N&O=Dkibana: https://mirrors.huaweicloud.com/kibana/?C=N&O=Delasticsear原创 2021-03-07 17:46:16 · 333 阅读 · 0 评论 -
Zookeeper 之入门及分布式集群的搭建
文章目录Zookeeper简介Zookeeper能做什么Windows安装Zookeeper3.4.9(单机模式)Zookeeper 3.4.9安装单机模式(Standalone)伪分布式集群模式(Fake Distributed)完全分布式集群模式(Full Distributed)Zookeeper服务操作命令zoo.cfg配置文件说明Zookeeper使用使用客户端命令操作zookeeper使用Java API操作zookeeperZookeeper简介Zookeeper是一个分布式服务框架,是A原创 2019-10-26 11:06:52 · 727 阅读 · 0 评论 -
Hadoop 之HDFS客户端API操作
文章目录1、HDFS客户端环境准备2、HDFS的API操作1、HDFS客户端环境准备根据自己电脑的操作系统拷贝对应的编译后的hadoop jar包到非中文路径,例如:D:\Develop\hadoop-2.7.2。配置HADOOP_HOME环境变量。配置Path环境变量。导入相应的依赖坐标+日志添加。<dependencies> <dependency>...原创 2019-08-27 13:35:54 · 261 阅读 · 0 评论 -
Hadoop 之shell常用命令
文章目录查看目录递归查看目录下的所有文件包括子文件夹里面的文件创建文件夹级联创建文件夹上传文件从本地剪切文件到HDFS上下载文件合并下载查看文件内容复制移动删除删除文件或文件夹强制删除查看目录hdfs dfs -ls /递归查看目录下的所有文件包括子文件夹里面的文件hdfs dfs -ls -R /创建文件夹hdfs dfs -mkdir /test级联创建文件夹hdfs dfs ...原创 2019-08-22 14:34:06 · 267 阅读 · 0 评论 -
Hadoop 之WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...
注:升级glib库解决问题请参加链接:https://blog.csdn.net/l1028386804/article/details/88420473问题描述配置完Hadoop集群并启动成功,但是在使用hdfs命令查看hdfs文件系统数据的时候出现如下警告信息:WARN util.NativeCodeLoader: Unable to load native-hadoop library...原创 2019-08-16 17:31:55 · 341 阅读 · 1 评论 -
MapReducer 之基于mapreduce框架编写第一个MR程序
文章目录需求导入依赖map业务逻辑reducer业务逻辑mr程序运行的main主类MR程序运行方式集群运行模式本地运行模式MapReduce的输入和输出需求统计文件中一个相同单词的数量。导入依赖<dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId&g...原创 2019-08-25 21:50:22 · 311 阅读 · 0 评论 -
Hadoop 之完全分布式模式搭建
1、虚拟机环境准备1、准备三台CentOS虚拟机系统2、修改主机名(node1、node2、node3)视具体情况而定3、 静态ip(192.168.56.61、192.168.56.62、192.168.56.63)视具体情况而定4、关闭防火墙5、创建一个普通用户并具有ROOT权限(centos)视具体情况而定6、在/opt目录下创建文件夹# 在/opt目录下创建module、so...原创 2019-08-14 23:24:23 · 244 阅读 · 0 评论 -
Hadoop 之运行环境搭建
1、虚拟机环境准备准备三台Linux虚拟机系统修改主机名关闭防火墙创建一个普通用户并具有ROOT权限在/opt目录下创建文件夹(1)在/opt目录下创建module、software文件夹$ sudo mkdir /opt/module$ sudo mkdir /opt/software(2)修改module、software文件夹的所有者$ sudo chown nod...原创 2019-08-10 16:07:31 · 560 阅读 · 0 评论 -
HBase 的安装部署
文章目录版本说明下载地址Hadoop2.x安装版本说明JDK1.7以上hadoop-2.5.0-cdh5.3.0.tar.gzzookeeper-3.4.5-cdh5.10.0.tar.gzhbase-0.98.6-cdh5.3.0.tar.gz下载地址hadoop:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.5.0-cdh5...原创 2019-08-03 17:58:15 · 476 阅读 · 0 评论 -
HBase 入门
http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.9.3.tar.gzhttp://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.14.0.tar.gzhttp://archive.cloudera.com/cdh5/cdh/5/hadoop...转载 2019-08-03 13:35:31 · 99 阅读 · 0 评论