误落尘网。-CSDN博客

原创大数据各架构概述

Hadoop概述1.hadoop是Apache基金会开发的分布式系统基础架构。主要解决：海量数据的存储和海量数据的分析计算。2.Hadoop优势：（1）高可靠性：Hadoop底层维护多个数据副本；（2）高扩展性：可以动态增加与删除节点（3）高效性：在MapRudece的思想下，Hadoop是并行工作的，以加快任务的处理速度。（4）高容错性：能够自动将失败的任务重新分配。HDFS架构概述1.HDFS是分布式文件系统（1）NameNode：储存数据的元数据，如：文件名，文件的目录结构，文件的

2021-11-02 21:40:18 1219

原创 Mysql

数据库的创建和使用1.查看所有的数据库命令：show databases;2.创建数据库命令：create database db1；3.查看表的创建情况命令：show create database db1；4.创建数据库并设置字符集命令：create database db2 character set GBK；5.查看mysql的字符集和校验规则命令：show character set；6.修改数据库（1）修改数据库db2的字符集命令：alter database db2

2021-11-02 21:39:43 583

原创 MySql事务产生的并发问题和隔离级别

MySQL事务隔离级别隔离级别查看隔离级别命令：设置隔离级别命令对于同时运行多个事务，当这些事务进行访问相同数据库中的相同数据时，如果没有采取必要的隔离机制，就会导致各种的并发问题：隔离级别（1）read uncommitted (级别最低)不能避免脏读、不可重复读、和幻读。（2）read committed 可以避免脏读，但是不能避免不可重复度和幻读。（3）repeatable read 可以避免脏读和不可重复度，但是不能避免幻读。（4）serializable 脏读、不可重复度和幻读都能避

2021-08-09 11:32:39 256

原创 Hadoop完全分布式（集群，多台客户端）运行模式（重点）

分析：准备三台客户机（先配置一台，然后进行克隆）三台客户机要：(1)关闭防火墙：查看防火墙状态命令：systemctl status firewalld关闭防火墙：systemctl stop firewalld(2)配置静态IP：vi /etc/sysconfig/network-scripts/ifcfg-ens33重启网络服务：service network restart(3)修改主机名称：vi /etc/hostname安装JDK和Hadoop并配置环境变量配置其中一台步骤：

2021-04-15 22:26:39 491

原创 Linux集群（多台电脑）时间同步

集群时间同步时间同步方式：找一台机器作为时间服务器，所有的机器与这台集群时间定时同步，比如每隔10分钟同步一次。逻辑步骤：具体步骤：2.其它机器设置（root下）参考crontab定时任务调度设置：https://editor.csdn.net/md/?articleId=115740935...

2021-04-15 22:25:20 170

原创 Crondtab定时任务调度

1.crond服务管理重新启动crond服务：service crond restrart2.crontab定时任务设置1.基本语法crontab [选项]2.选项说明3.参数说明例子：3.实例：说明：crontab -l 查看；crontab -r 删除；

2021-04-15 22:11:16 126

原创 Linux集群分发脚本（只要一台主机上的文件更改，可实现将此文件同步到其余主机。）

xsync集群分发脚本xsync集群分发脚本的目的是实现在一台主机上更改过的文件只要输入命令：xsync 要同步的文件名称；即可实现此文件同步到其余主机。步骤：**编写脚本：**在xsync文件中写入以下内容#!/bin/bash#1.获取输入参数个数，如果没有参数，直接退出pcount=$#if((pcount==0));thenecho no args;exit;fi#2.获取文件名称p1=$1fname='basename $p1'echo fname=$fname#

2021-04-15 15:51:10 334

原创 Hadoop 伪分布式—启动HDFS并运行MR程序

1.Hadoop官网手册https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html2.配置集群（1）配置hadoop-env.sh修改JAVA_HOME路径vim hadoop-env.sh（2）配置core-site.xml:etc/hadoop/core-site.xml:<configuration> <property> <name&g

2021-04-11 10:29:33 206

原创本地模式Hadoop案例WordCount（统计单词个数）

Hadoop2.7.2官网手册网址：https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html1.在hadoop2.7.2（在你所安装的目录）目录下创建一个mkdir wcinput目录2.cd wcinput，在此目录下创建一个touch wc.input文件3.在这个文件里编辑要统计的单词：vim wc.input4.回到Hadoop目录/opt/moudle/hadoop

2021-04-11 10:24:16 357

原创 Centos中JDK和Hadoop安装步骤

1.在普通用户下，在cd/opt目录下创建只有root的权限的目录命令：sudo mkdir software（用于存放软件安装包）、sudo mkdir module（用于存放软件解压的位置）。2.连续修改刚建的两个目录的所有者和所有者的组：sudo chowd zys：zys software / module/3.然后把软件安装包传入到software下，4.进入software目录下使用命令：tar -zxvf 压缩包名称(jdk) -C /opt/module/5.进入module目录

2021-04-09 21:42:25 195

weixin_44175200的博客