AloneZaa-CSDN博客

原创一篇文章让你了解MapReduce整个流程的执行过程及原理

什么是MapReduce？MapReduce是一个分布式计算框架它将大型数据操作作业分解为可以跨服务器集群并行执行的单个任务适用于大规模数据处理场景每个MapReduce执行的过程叫一个job，每个job包含Map和Reduce两个任务，每个任务叫一个TaskJobTracker和TaskTrackerJob Tracker运行在Namenode接收客户端Job请求提交给Task TrackerTask Tracker运行在datanode上从Job Tracker接受任务请求执行

2020-07-05 14:31:56 638

原创从零搭建Hadoop+zookeeper+hbase+hive完全分布式环境（04）——Hive

在上一篇hbase搭建的基础上搭建hive集群(https://editor.csdn.net/md/?articleId=106999922)安装mysql数据库请查看博主前面的mysql搭建过程：(https://editor.csdn.net/md/?articleId=106991232)配置hive.env.sh(若名字不对应则mv改名)切换到/opt/hive/conf目录下vi hive.env.shHADOOP_HOME=/opt/hadoop //hadoop路径e

2020-06-28 15:40:20 454

原创从零搭建Hadoop+zookeeper+hbase+hive完全分布式环境（03）——Hbase

在上一篇zookeeper集群搭建的基础上搭建hbase(https://editor.csdn.net/md/?articleId=106999738)配置hbase-site.xml切换到/opt/hbase/conf目录下vi hbase-site.xml<configuration><property><name>hbase.rootdir</name><value>hdfs://192.168.109.110:9000/

2020-06-28 15:30:17 426

原创从零搭建Hadoop+zookeeper+hbase+hive完全分布式环境（02）——Zookeeper

在上一篇Hadoop集群搭建的基础上搭建zookeeper集群Hadoop集群](https://editor.csdn.net/md/?articleId=106998862)配置zoo.cfg切换到/opt/zookeeper/conf目录下vi zoo.cfg（若文件名不对应，则修改文件名）# The number of milliseconds of each ticktickTime=2000maxClientCnxns=0 //添加# The number of tick

2020-06-28 15:23:44 366

原创从零搭建Hadoop+zookeeper+hbase+hive完全分布式环境（01）——Hadoop

博主将用四篇博客详细讲解如何从零搭建Hadoop+zookeeper+hbase+hive完全分布式环境，本篇主要为搭建Hadoop集群前期准备安装包：新建一个虚拟机(使用VMtools将虚拟机时间和主机时间同步)将新建software根目录，将jdk、hadoop、hadoop-native、hive、hbase、zookeeper、mysql和java连接数据库jar包引入software目录下将jdk、hadoop、hive、hbase、zookeeper解压到opt目录下hadoop-

2020-06-28 15:11:25 671

原创 Linux虚拟机安装mysql教程——傻瓜式安装

前期准备搭建Linux虚拟机：https://editor.csdn.net/md/?articleId=106809384下载rpm文件类型的MySQL压缩包将MySQL压缩包拖入虚拟机opt目录下yum下载依赖包yum install -y net-toolsyum install -y perlyum install -y autoconf安装MySQL客户端rpm -ivh MySQL-client-5.6.46-1.el7.x86_64.rpm安装MySQL服务端rpm

2020-06-28 01:09:49 1639 2

原创 Linux虚拟机安装java——图文教程

前期准备搭建一台Linux虚拟机将虚拟机和moba连接下载tar类型的jdk安装文件Linux虚拟机搭建详细过程请看：https://editor.csdn.net/md/?articleId=106809384复制文件左侧目录点到opt目录，右侧输入cd /opt切换到opt盘（按ll可以查看文件夹下的文件数量）将jdk文件拖到opt文件夹下解压jdk压缩文件tar -zxvf jdk 按住tab键自动填充配置环境变量命令行输入输入vi /etc/profile在最后插入下方

2020-06-28 00:58:58 2403

原创 Hadoop集群搭建图文详解

前期准备搭建虚拟机，修改虚拟机网关，关闭移除防火墙。在根目录下新建software文件夹，将jdk和hadoop相关文件夹拖进文件夹解压jdk到opt文件夹，配置jdk环境变量虚拟机及jdk安装配置过程大家可以到博主前面的博客去找修改主机名方法一：vi /etc/hostname方法二：hostnamectl set-hostname hadoop01（配置后立即生效）修改主机列表:vi /etc/hostname配置免密登录ssh-keygen -t rsa -P ""

2020-06-25 20:51:36 416

原创 Shell编程基础--Linux小白专属

Shell Scripts介绍概念Shell脚本是包含一系列命令的文本文件Shell读取此文件并执行命令应用场景重复性操作批量处理事物自动化运维定时任务执行预定义变量选项说明$#命令行参数或位置参数的数量$?最近一次执行的命令或shell脚本的初始状态$*表示所有的位置参数，其值是所有位置参数的值$*变量是shell脚本里面的进程ID。Shell脚本经常使用$$变量组织临时文件名，确保文件名的唯一性位置变量$n:$0代表命令本身，$1

2020-06-22 20:10:02 169

原创 Linux搭建ELK集群——史上最详细的图文详情

前期准备搭建好一台ELK虚拟机，博主前面博客有详细的搭建过程，大家可以去参考搭建一下本次ELK集群的搭建是在我之前博客搭建的ELK环境基础上搭建的复制多个虚拟机修改复制的虚拟机ip地址和主机名（将ip地址和主机名改为和主机列表一致的内容）vi /etc/systconfig/network-scripts/ifcfg-enp0s3vi /etc/hostname将三个虚拟机都连接到moba将三个虚拟机分别设置免密登录`ssh-keygen -t rsa -P ""将三个虚拟机

2020-06-19 23:26:44 731

原创 Linux搭建大数据日志分析ELK环境——图解包教包会

前期准备搭建Linux系统，博主前面的的文章有详细的搭建过程下载压缩包：elasticsearch-6.2.2.tar.gzelasticsearch-head-master.zipkibana-6.2.2-linux-x86_64.tar.gzlogstash-6.2.2.tar.gznode-v8.9.1-linux-x64.tar.gzjdk-8u221-linux-x64.tar.gz配置elasticsearch在根目录下新建目录software，并将6个压缩包拉进softwa

2020-06-18 20:02:00 229

原创使用VirtualBox搭建Linux系统——史上最详细图解教程

*前期准备：安装Oracle VM VirtualBox，可以直接到百度搜索相关安装包资源，下载安装下载Centos-7-x86_64的镜像文件*打开虚拟机新建虚拟电脑名称：centons（输入后类型自动匹配Linux）类型：Linux版本：Red Hat(64-bit)内存：4GB创建虚拟硬盘选择文件位置在保存在自定义位置（最好不在c盘）文件大小30GB以上（可以就选择30G）模式选择为专家模式设置系统参数常规将备份位置选择自定义位置（最好不在c盘）共享粘贴板和拖放选择

2020-06-17 16:06:15 9155

原创 Linux命令大全—初学者必备技能—Linux常用命令大全

一、目录操作（一）Linux目录结构系统根目录当前用户目录（根目录）其他普通目录（二）切换目录打开家目录cd 打开系统根目录cd /按照相对路径打开目录cd 目录名/.../目录名/按照绝对路径打开目录cd /目录名/.../目录名/返回上级两目录cd ../../按照列表的形式展示列表下的文件目录ll查看当前绝对路径pwd查看当前目录下的内容-a 显示所有文件及目录 (ls内定将文件名或目录名称开头为"."的视为隐藏

2020-06-16 20:03:37 363

原创使用mybatis完成图书馆管理小项目

mybatis完成图书馆管管理系统小项目本篇博客旨在演示mybatis、servlet、数据库和前端页面的交互，项目的业务逻辑可能有所欠缺，大家重点关注技术使用，逻辑层面不需深究一、要求按照要求在数据库建立图书表、借出表、购买记录表，用户表，图书类型表，使用mybatis完成用户登录、图书信息查询、图书进货、借书、还书、购书等操作技术使用mybatis框架；servlet；3.jsp等；数据库建表CREATE DATABASE bookmrg#图书类型表CREATE TABLE

2020-06-15 22:09:30 1720

AloneCoding的博客