quietlyw的博客

原创 虚拟机创建脚本

1.新建一个.sh文件，touch test.sh2.编辑test.sh文件，vi test.sh然后键入i，输入内容，#!/bin/sh必须放在第一行然后键入esc键入:wq保存退出3.给test.sh赋予可执行权限，chmod +x test.sh4.执行脚本./test.sh,即可执行脚本5.也可以通过sh test.sh 执行脚本扩展资料：Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统

原创 Hbase操作

> （1）启动hadoop ：start-all.sh> （2）启动zookeeper：zkServer.sh start> （3）启动hbase：start-hbase.sh> （4）进入hbase的xshell：hbase shell相当于对库的操作创建：create_namespace “库名” （创建库）添加或修改属性：alter_namespace ‘库名’, {METHOD => ‘set’, ‘PROPERTY_NAME’ => ‘PROPE

原创 spark

以上图中有四个机器节点，Driver和worker是启动在节点上的进程，运行在JvM中的进程。. Driver与集群节点之间有频繁的通信。.Driver负责任务( tasks)的分发和结果的回收即任务的调度。如果task的计算结果非常大就不要回收了。 会造成oom。worker是standalone资源调度框架里面资源管理的从节点。也是jvM进程。Master是standalone资源调度框架里面资源管理的主节点。也是jvM进程。4.3.Spark代码流程1.创建sparkconf.

原创 Hadoop MapReduce

Map 的流程原始数据File·1T数据被切分成块存放在HDFS上，每一个块有128M大小 .数据块Block. hdfs上数据存储的一个单元,同一个文件中块的大小都是相同的·因为数据存储到HDFS上不可变，所以有可能块的数量和集群的计算能力不匹配·我们需要一个动态调整本次参与计算节点数量的一个单位·我们可以动态的改变这个单位–》参与的节点 切片split·切片是一个逻辑概念·在不改变现在数据存储的情况下，可以控制参与计算的节点数目·通......

原创 hdfs写入数据和读取数据

1.客户端通过shell命令的方式传输文件到HDFS上(申请上传)2.namenode检查文件夹是否存在,检查文件是否存在,如果文件夹不存在是肯定不能上传的,如果文件存在就要看有没有覆盖写入了3.返回允许上传通知4.判断文件的大小,然后切割文件,默认按照128m去切割(hadoop2.x)按照64m去切割(hadoop1.x）5.通知namenode上传第一个block块6.namenode通过副本机制得到block块应该放在哪些datanode节点上的地址列表7.返回这些地址给client端

原创 HDFS命令练习

原创 hive命令

hive命令查看数据库 : show databases ;创建数据 : create database (要创建的数据库名字) ;创建了一张表 :create table psn_1(id int,name string) ;插入一条数据 : insert into psn_1 (id,name) values (1,‘aa’);除数据库 : drop databases (要删除的数据库名字) ;在mysql中可以,在hive中不可以 : show databases like ‘

原创 Java链接数据库

查询自己的 ip地址ipconfig

原创 jdbc一

今日内容1. JDBC基本概念2. 快速入门3. 对JDBC中各个接口和类详解JDBC：1. 概念：Java DataBase Connectivity Java 数据库连接， Java语言操作数据库 * JDBC本质：其实是官方（sun公司）定义的一套操作所有关系型数据库的规则，即接口。各个数据库厂商去实现这套接口，提供数据库驱动jar包。我们可以使用这套接口（JDBC）编程，真正执行的代码是驱动jar包中的实现类。2. 快速入门： * 步骤： 1. 导入驱动jar包 mysql

原创 MYSQL基本语句

DDL 的数据库操作1.show databases; //查看数据库2.use 数据库名称； //查看数据库3.create database 数据库名称； //创见数据库4.ALTER DATABASE 数据库名称CHARACTER SET utf8; //修改数据库的编码为utf85.dr

原创 thread

创建多线程 （Runnable接口）创建多线程程序的第二种方法：实现runnable接口包：java.lang.RunnableRunnable接口应该有那些打算通过某一线程执行其实例类的类来实现 类必须定义一个成为run的无参数方法java.lang.Thread类的构造方法Thread（Runnable target）分配新的Thread 对象Thread （Runnable target,String name）...