kkb的博客

原创 MapRecduce模板（自动匹配包名，类名）

#if (${PACKAGE_NAME} && ${PACKAGE_NAME} != "")package ${PACKAGE_NAME};#endimport org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org

原创 hdfs读取数据的整体流程

hdfs读取数据的整体流程 1，客户端节点(代码)获取FileSystem 2，FileSystem去namenode上获取要读取的文件块位置。并且返回给客户端节点 3，获取到文件的所有块信息以后，FSDataInputStream开始准备在不同的块中读取数据。 4，FSDataInputStream内部有一个类，HdfsDataInputStream 保存文件的块信息列表，还负责挑选最近和最新的块在哪里。 FSDataInputStream内部另一个类，Streamer 负责读取操作 5

原创 HDFS-API编程基本操作

常用操作 :1,用代码删除hdfs上的文件2,追加数据到hdfs文件3,获取校验和4,修改权限测试代码:```javaimport org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileChecksum;import org.a

原创 HDFS命令

原创 org.apache.hadoop.security.AccessControlException: Permission denied: user=k解决办法

org.apache.hadoop.security.AccessControlException: Permission denied: user=k解决办法

原创 超级实用idea快捷键

Ctrl + Y 删除光标所在行 或 删除选中的行 Ctrl + G 在当前文件跳转到指定行处Ctrl + [ 移动光标到当前所在代码的花括号开始位置Ctrl + ] 移动光标到当前所在代码的花括号结束位置Ctrl + F1 在光标所在的错误代码出显示错误信息Ctrl + F3 调转到所选中的词的下一个引用位置Alt + Insert 代码自动生成，如生成对象的 set / get 方法，构造函数，toString() 等Shift + End 选中光标到当前行尾位置Shift + Ho..

原创 hadoop集群搭建

hadoop集群搭建: 1,把共享文件夹中的hadoop-3.0.3.tar.gz (自己下载hadoop)解压到~/soft下 tar -xvf /mnt/hgfs/gx/hadoop-3.0.3.tar.gz -C ~/soft/2,把解压后的文件夹,改名字为hadoopmv ~/soft/hadoop-3.0.3/ ~/soft/hadoop3,修改机器名先给/etc/hostname文件授予权限,然后再用vi打开,修改 sudo chmod 777 /etc/hostnamev

原创 MySQL数据库笔记（十二） 表的操纵（ALTER TABLE）

MySQL数据库 操纵表更新表定义，可使用ALTER TABLE语句 。一般情况下，当表存储数据后，不会进行更新表定义。要求我们花费大量的时间去设计表。#查看s_emp表结构desc s_emp;#创建t_test表进行测试create table t_test( id int, `name` char(10))#添加表的列：t_test表中添加新的列email 类型为 cha...

原创 MySQL数据库笔记（十一） 插入、更新和删除数据

MySQL数据库 插入、更新和删除数据SQL语句的分类：DDL语句： 数据定义语句：create drop alterDML语句：数据操作语句：insert delete updateDQL语句：数据查询语句：select插入语句#先创建t_student表create table t_student( id int primary key auto_increment,...

原创 mysql数据库笔记（十） 建表

mysql数据库 建表如何查询创建表的sql语句#查看s_emp表的建表语句show create table s_emp;建表sql的格式#格式1：create table 表名( 列名1 数据类型 列级约束, 列名2 数据类型 列级约束, 列名3 数据类型 列级约束, 列名4 数据类型 列级约束);#格式2：create table 表名( 列名1 数据类型 列级...

原创 mysql数据库笔记（九）建模和设计（E-R图、范式、主键和外键）

mysql数据库建模和设计软件开发的步骤可大致分为:需求分析系统设计编码实现系统测试运行维护系统设计中一个重要的环节就是数据库设计.数据库设计的时候需要先进行数据建模(实体关系图 E-R图)。数据建模的依据就是前期所做的需求分析。数据建模实体-关系图​ 实体-关系图(Entity Relationship Diagram),也称为E-R图,提供了表示实体、属性和关系的方法...

原创 mysql数据库笔记（八）使用子查询(嵌套查询)和组合查询

使用子查询(嵌套查询)​ 概念：一个select语句中嵌套了另外的一个或者多个select语句。#查询工资比Simth工资高的员工信息SELECT a.last_name, a.salaryFROM s_emp aWHERE salary > ( SELECT salary FROM s_emp b WHERE b.last_name = 'Smith'...

原创 mysql数据库笔记（七） 多表查询

mysql数据库 多表查询​ 多表查询，又称表联合查询，即一条sql语句涉及到的表有多张，数据通过特定的连接进行联合显示。笛卡尔积​ 在数学中，两个集合X和Y的笛卡尓积（Cartesian product），又称直积，表示为X × Y。假设集合A={a, b}，集合B={0, 1, 2}，则两个集合的笛卡尔积为{(a, 0), (a, 1), (a, 2), (b, 0), (b, 1),...

原创 mysql数据库笔记（六） 函数

mysql数据库 函数​ SQL支持利用函数来处理数据。函数一般是在数据上执行的，它给数据的转换和处理提供了方便 。dual：哑表。dual是一个虚拟表，用来构成select的语法规则。mysql中可以不使用 dual。例如:显示1+1的结果,可以看出,dual很多时候是为了构成select的标准语法。 #计算1+1 select 1+1; select 1+1 fro...

原创 MySQL数据库笔记（五） 数据过滤

MySQL数据库 数据过滤使用select语句的where子句指定过滤条件。通常情况下，我们查询数据会根据特定条件和情况提取表中的部分数据。并不会查询表中所有的数据。语法格式：where 子句放在from子句后面出现。where子句操作符操作符说明=等于<>不等于!=不等于<小于<=小于等于>大于...

原创 mysql数据库笔记（四）排序查询数据

mysql数据库 排序查询数据语法格式：使用select语句的order by子句进行查询。order by 子句取一个或多个列的名字进行排序。单列排序ASC ：关键字表示升序。#asc 升序查询：查询部门表信息,按照部门号升序排序 select a.id,a.name,a.region_id from s_dept a order by a.id asc;#asc 升序查询,asc关...

原创 mysql数据库笔记（三） 查询数据(单表查询)

mysql数据库 查询数据(单表查询)查询语法语法格式 ：SELECT column_name,column_name FROM table_name;select： 作为mysql数据库中的关键字，表示对数据库中的信息进行查询。空格：sql语句中的关键字以空格进行组合。column_name：表示查询表的列名。列名之间使用逗号隔开。from ：关键字 指定查询数据的表...

原创 mysql 数据库笔记（二）用户创建、权限、登陆和退出，创建和选择数据库及插入

MySQL用户登陆和退出数据库管理员和用户登陆：连接数据库#方式1：使用root用户登陆本机的mysql数据库#-u : 表示用户名#-p : 表示用户密码C:\Windows\system32>mysql -u root -p#输出root用户密码:rootEnter password: root#方式2:明文登陆#格式: mysql -u 用户名 -p密码 (...

原创 mysql 数据库笔记（一）概念

mysql 数据库笔记（一）概念一、 了解SQL数据库概念​ 数据库是“按照数据结构来组织、存储和管理数据的仓库”。是一个长期存储在计算机内的、有组织的、有共享的、统一管理的数据集合。数据库分类关系型数据库：基于关系模型的数据库。非关系数据库：基于键值对的数据库。SQL概念​ 结构化查询语言(Structured Query Language)简称SQL(发音：/ˈes kju...