Hadoop生态圈
关注
分享
扫一扫
在学习Hadoop的过程中建立的备忘录。
咕噜oo
我们往往低估了一年内能做的事，却高估了十年后能做的事——万丈高楼平地起。
展开
-
Hadoop集群的搭建——完全分布式的安装配置（3节点）
目录集群节点分配准备工作hadoop安装配置配置hadoop-env.sh配置core-site.xml配置hdfs-site.xml配置mapred-site.xml配置yarn-site.xml配置slaves文件配置hadoop的环境变量集群启动集群节点分配 hadoop01 hadoop02 hadoop03 HDFS NameNode DataNode DataNode S.原创 2020-07-07 00:41:58 · 975 阅读 · 0 评论 -
linux下安装mysql(server和client)
目录下载删除原有版本准备安装配置下载下载MySQL的安装文件（server和client两个rpm文件）rpm文件是Red Hat公司开发的软件安装包，rpm可让Linux在安装软件包时免除许多复杂的手续。例如：MySQL-client-5.6.29-1.linux_glibc2.5.x86_64.rpmMySQL-server-5.6.29-1.linux_glibc2.5.x86_64.rpm官网下载地址为：https://downloads.mysql..原创 2020-06-04 14:42:27 · 5255 阅读 · 0 评论 -
hadoop环境下的Hive安装配置
hive需要hadoop的支持，启动好hadoop下载 从apache官网下载新版本hive，要注意和hadoop版本的匹配。支持 需要对应版本jdk的支持，并且配置过JAVA_HOME和HADOOP_HOME——>linux下安装配置jdk 需要安装并运行hadoop ——> hadoop伪分布式安装安装 使用rz命令将下载好的hive安装包上传到linux中。 解压：tar -zxvf ap...原创 2020-06-04 11:19:26 · 417 阅读 · 0 评论 -
Java连接Mongodb，并进行增删改查操作（eclipse）
目录Java操作MongoDB导入驱动连接数据库创建集合获取集合插入文档查看文档更新文档删除文档Java操作MongoDB导入驱动准备好适合版本的MongoDBJDBC驱动MongoDB JDBC 驱动下载链接：http://central.maven.org/maven2/org/mongodb/mongo-java-driver/将驱动...原创 2020-04-27 13:26:32 · 7026 阅读 · 0 评论 -
CentOS下的MongoDB安装教程（CentOS6.5）
下载直接去官网下载，然后上传：https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-4.0.1.tgz或者可以在CentOS中使用wget下载：wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-4.0.1.tgz以上是版本4.0.1的下载地址，可以去以下官网地...原创 2020-04-23 17:06:46 · 682 阅读 · 0 评论 -
Hadoop集群的搭建——完全分布式的安装配置（6节点）
Hadoop集群的搭建节点分布的分析 下图是一个典型的HA集群架构图，通过简单分析可以看出，NameNode会被配置在两台独立的机器上（图中两个FailoverController作为NN）。在任何时间上，一个NameNode处于活动状态（图中FailoverController——Active），而另一个NameNode处于备份状态（图中FailoverController—...原创 2020-04-12 18:36:14 · 2198 阅读 · 0 评论 -
Linux下修改普通用户的用户名，普通用户密码，修改主机名（CentOS 6.5）
上图中[root@hadoop01 hadoop-2.7.1]用户名：root主机名：hadoop01当前所在路径名：hadoop-2.7.1修改用户名在root用户下执行：（suroot）usermod -l新用户名 -d /home/新用户名 -m旧用户名例如：usermod -l hadoop -d /home/hadoop -m hadoop01...原创 2020-04-10 23:09:03 · 3635 阅读 · 0 评论 -
Linux虚拟机下手动配置固定IP（CentOS 6.5）
右键图标，如图：在下拉菜单中选择编辑连接，如图：双击红色框内选项，如图：选择“IPV4设置”标签，方法中选择手动，然后填写地址，如图：...原创 2020-04-10 22:37:26 · 393 阅读 · 0 评论 -
HBase的单机安装、伪分布式安装、完全分布式安装
HBaseHBase是一个分布式的、面向列的开源数据库。HBase单机安装单机安装不依赖于Hadoop的分布式文件系统HDFS ,配置完既可使用。不具备分布式，常用于测试。存储数据的能力。安装步骤：1. 安装JDK，并配置环境变量 2. 上传解压Hbase安装包 3. 修改Hbase的配置文件在安装目录下的conf/hbase-site.xml 中，配置hbase存储...原创 2020-03-31 16:05:40 · 456 阅读 · 0 评论 -
Linux创建，修改，切换，删除用户（CentOS6.5）
首先，要知道：root用户：超级管理员， UID是0系统用户： UID是1-499自定义用户： UID从500开始用户信息存储位置账户信息存储于/etc/passwd密码信息存储于/etc/shadow创建用户的同时，默认还会为用户创建一个同名的组，组信息保存在/etc/group中添加用户useradd [选项] 用户名-p 指定用户的密码-c comment 指...原创 2020-03-13 13:25:57 · 1332 阅读 · 0 评论 -
linux（CentOS8）下安装和配置jdk
执行 java -version 命令查看JDK版本信息，如果存在旧版本JDK，执行rpm命令删除rpm –e [要删除的JDK版本]执行rz命令， 选择新版本JDK安装包文件进行上传解压安装包：tar -zxvf [jdk安装包位置]tar –zxvf jdk-8u65-linux-x64.tar.gz配置环境变量：修改profile文件（这个文件是每个用户登录时都会运行的环境变...原创 2020-03-03 20:54:17 · 3412 阅读 · 0 评论 -
Hadoop伪分布式安装（3.1.3，CentOS 8）
伪分布式模式1.关闭防火墙 service iptables stop 永久关闭防火墙需额外执行：chkconfig iptables off2.配置主机名vim /etc/sysconfig/network进入编辑主机名：HOSTNAME=hadoop主机名里不能有下划线，或者特殊字符 #$主机名属于内核参数，重启后永久生效.p.s：可以用hostname来使主机...原创 2020-03-12 18:02:04 · 825 阅读 · 0 评论 -
Hadoop3.x端口变化
查看开启线程的端口：$ netstat -ntlpnamenode 50070->9870,8082->9820secondaryNameNode 50090->9868,50091->9868datanade 50010->9866,50020->9867resourcemanager(yarm任务监控端口) 8088-&g...原创 2020-03-12 00:21:41 · 1154 阅读 · 0 评论