- 博客(26)
- 收藏
- 关注
RSS订阅原创 大数据学习Hadoop之HDFS详解二
一、HDFS基础5、HDFS的写流程5.1、写流程图：1、client 调用FileSystem.create(filepath）方法，与namenode进行rpc通信，namenode check该路径的文件是否存在以及有没有权限创建该文件；如果能创建，就创建一个新文件，但并不关联任何block，返回一个FSdataoutputstream对象；否则，就返回错误的信息。2、client调用FSD...
2018-06-08 23:35:37
328
原创 大数据学习Hadoop之YARN伪分布式部署和MapReduce案例
一、YARN伪分布式部署1、进入/software/hadoop-2.8.1/etc/hadoop目录cd /software/hadoop-2.8.1/etc/hadoop2、复制配置模板 cp mapred-site.xml.template yarn-site.xml3、修改配置文件：vim yarn-site.xml4、启动hdfs和yarn:5、查看进程：jpsyarn的两个进程：...
2018-06-06 17:39:08
355
原创 大数据学习Hadoop之HDFS基础使用
一、HDFS启动：1、第一次启动：1.1、查看服务是否启动ps -ef|grep hdfs1.2、如果未启动，进入相关目录启动cd /softwarellcd /hadoop-2.8.1llcd sbin./start-dfs.sh 1.3、查看启动的进程：jps2、第二次启动：namenode：localhost datanode：localhostsecondary namenodes： ...
2018-06-06 16:35:01
588
原创 SQL语法演示之联接查询（MySQL篇）
一、环境准备：1、创建表：1.1、创建testa表create table testa(aid int,aname varchar(40)); select * from testa;1.2、创建testb表：create table testb(bid int,bname varchar(40),age int);select * from testb;2、插入数据并提交：2.1、向testa表...
2018-05-30 16:20:34
170
原创 SQL语法演示之常用函数(MySQL篇）
一、聚合函数：1、MAX 选取列和表达式的最大值如选取emp表中工资最高的员工的信息：语法：查询 列值1，列值2，max(列值3） 从 表名；语句：select empno,ename,max(sal) from emp;演示：2、MIN 选取列和表达式的最大值如选取emp表中工资最低的员工的信息：语法：查询 列值1，列值2，...
2018-05-29 21:11:56
266
原创 SQL语法演示之select语句一(MySQL篇）
一、创建演示环境：1、创建emp和dept、salgrade表：create table emp ( empno numeric(4) not null, ename varchar(10), job varchar(9), mgr numeric(4), hiredate datetime, sal numeric(7, 2), comm ...
2018-05-29 17:02:57
579
原创 大数据学习之Hodoop伪分布式部署
一、Hadoop的部署模式：官网：hadoop.apache.org1、单机部署进程没有2、伪分布式部署 开发用的比较多进程存在 +1节点3、集群部署 开发/生产进程存在+ n节点二、Hadoop伪分布式部署步骤：注意前提是基础部署完成后1、解压安装包cd /sofwaretar -xzvf hadoop-2.8.1.tar.gz2、解读解压文件:更改解压后的用户属性...
2018-05-16 18:42:14
944
原创 大数据学习之课堂《零碎知识点》整理一
零碎知识点补充一、机器之间文件传输：1、windows -------- linux方法一、方法二、2、linux ---- linux二、...
2018-05-15 19:08:27
389
原创 SQL语法演示之数据库对象表（MySQL篇）
SQL语法演示 （MySQL篇） 一、数据库中的基本概念1、表 table 表中的字段类型Text类型 chart varchar textDate类型 date datetime timeNumber类型：flo...
2018-05-13 13:20:35
1015
原创 SQL语言基础
SQL语言基础 一、SQL语言概述 SQL语言 是一种结构化查询语言，是一种用于关系式数据库中定义和操纵数据的语言。也可以形象的理解为用户和数据库进行交流的语言。 被大多数关系式数据库，如oracle，mysql数据库所采用。...
2018-05-11 22:37:33
145
原创 MySQL的常规使用
MySQL的常规使用 一、MySQL数据库的启动和登录 1、启动mysql数据库切换到mysqladmin用户启动mysqlsu - mysqladminservice mysql start 2、登...
2018-05-11 18:06:42
408
原创 大数据学习之《早课六》
1.后台运行脚本的命令哪几个2.定时每隔五分钟运行脚本，命令是什么 ，编辑参数是什么3.切换用户，带执行环境变量文件命令是什么4.没有临时root权限，需要修改哪个配置文件，添加哪行?5.rwx分别代表数字多少6.rwxr-xr-- 数字多少7.上题中三组，每组分别是什么用户有权限的8.修改用户ruoze和用户组bigdata的文件夹xxx 命令和参数是什么9.绝对路径和相对路径 说说你们的理解...
2018-05-09 17:37:42
167
原创 Centos 6.5下源码安装MySql5.6数据库
一、安装前的准备：1、安装环境操作系统：CentOS-6.5-x86_642、所需软件jdk-8u45-linux-x64.gzmysql-5.6.23-linux-glibc2.5-x86_64.tar.gz3、上传并安装部署jdk二、安装步骤1、进入目录/usr/local：cd /usr/local2、上传安装文件：3、检测是否安装mysql：4、解压安装文件并重命名tar xzvf my...
2018-05-08 22:39:47
484
原创 大数据学习之《早课四》
早课题目1.读写执 英文字母是什么，数字分别多少?r : 4 w : 2 x : 12.rwxr--r-x 数字多少?7 4 53.上题的第一组，第二组，第三组，分别表示哪种用户可以有权限的?user group others4.修...
2018-05-07 20:57:55
146
原创 大数据学习之《早课三》
早课题目1.谈谈学到现在，带r参数的命令有哪些?cp -rrm -r2.同事说，打开那台电脑xxx服务的web界面，你们觉得哪几种途径可以尝试知道?2.1、如果知道ip地址和端口号，在浏览器中直接输入http://ip:端口号2.2、...
2018-05-05 17:17:09
477
原创 大数据学习之《早课二》
早课题目1.移动文件或文件夹是什么命令：mv 2.复制文件或文件夹是什么命令参数:复制文件：cp 复制文件夹: cp -r3.强制删除文件的命令参数:rm -f4.强制删除文件夹的命令参数:rm -rf5.生产上是否能够执行rm ...
2018-05-04 10:18:16
169
原创 大数据学习之《早课一》
早课题目1.是否完成 部署centos，及配置固定IP访问外网已经部署完成：如下图：2.博客是否写了已经写了.3.pwd是什么意思显示用户当前所处的工作目录：如下图：4.切换到上一次目录cd -5.切换到...
2018-05-02 23:36:34
172
原创 新手需要掌握的常用Linux命令基础篇
常用Linux命令之前受训于linux就该这么学，现在把所学的命令梳理一下，这也算是对自己学习的一个总结吧。linux就该这么学，是一本很不错的Linux入门学习的丛书，很适合新手学习，也适合有一定Linux基础的用于提高。一、命令思维导图：二、...
2018-04-30 14:22:22
1223
原创 大数据学习平台的搭建之部署操作系统
deepin 操作系统下搭建vmware + centos6.5虚拟机 一、环境准备：1、准备环境：已经安装好的deepin 15.4桌面操作系统已经安装好vmware workstation 14版本软件：2、所需的软件：CentOS-6.5-x86_64-bin-DVD1.iso 二、实验步骤：1、创建虚拟机：1.1、...
2018-04-28 15:10:06
1302
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人