数据开发
凡凡不知所错
I hate being kept in the dark
展开
-
Ubuntu搭建Hadoop伪分布式集群全套流程详解
创建hadoop用户sudo useradd -m hadoop -s /bin/bash # 创建新用户sudo passwd hadoop # 为新用户设置密码sudo adduser hadoop sudo # 为新用户设置权限su hadoop # 切换到新用户sudo apt-get update配置ssh无密码登录集群,单节点模式都需要用到ssh登录,默认ubuntu上面已经有ssh client,还需要安装ssh server之后的操作如何各种输入密码就很麻烦,所以原创 2020-08-27 15:46:01 · 2063 阅读 · 1 评论 -
安装Hadoop超详细流程(亲测有效)
Hadoop的核心为HDFS、YARN、MapReduce1. 安装JAVA和Hadoop首先准备好环境:CentOS-7然后下载JDK,这里注意hadoop目前只支持jdk7和jdk8,不支持jdk11安装OpenJDK:sudo yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel然后需要配置JAVA_HOME环境变量:vim /etc/profile JAVA_HOME=/usr/lib/jvm/java-1.8.0-openj原创 2020-08-13 19:43:59 · 805 阅读 · 0 评论 -
Elasticsearch学习笔记
Elasticsearch is a distributed, real-time, search and analytics platform.解释一下,分布式是指它管理了集群粒度节点上的信息,所以它会在多个servers上面运行。实时是指我们通过query可以非常快的拿到结果,最后一点就是查找和分析,我们主要就是用这个玩意儿去explore data。所以说像ES这样的平台是任何搜索引擎的基础。它使用了restful API,ES会自动的储存数据并且为数据建立索引,它使用JVM以为了使用起来足够的快原创 2020-08-11 16:33:27 · 177 阅读 · 0 评论