YKQCC的博客

原创 Lasalle不变集原理

非线性控制—Lasalle不变集原理

原创 Spark入门—RDD之WordCount

例如：(hello,hello,hello),(word,word) => (hello,3),(word,2)例如：(hello,hello,hello),(word,word)1）右键父项目-->New-->Directory，命名为datas。例如：hello world =>hello,world。2）将一行数据拆分成一个个单词（分词），又称为扁平化操作。例如：hello world。3）将数据根据单词分组，方便统计。1）读文件获取一行一行的数据。4）对分组数据进行统计转换。

原创 使用Hive实现词频统计

步骤：创建一个测试表hive> create table test(line string);加载数据文件到临时表hive> LOAD DATA LOCAL INPATH '/user/tmp/a.txt' OVERWRITE INTO TABLE test;加载数据文件到临时表hive> create table word_count as select word,count(1) as count from (select explode(spl

原创 思维导图-Hive初步入门

原创 Hive数据定义及表的创建

Hive中数据库的概念本质上仅仅是表的一个目录或者命名空间。这样做可以避免表命名冲突。如果用户没有显示指定数据库，那么会使用默认的数据库“default”1.查看Hive中所包含的所有数据库show databases;2.切换到xx数据库use databases xx3.创建数据库create database database_name4.查看数据库信息describe database xx5.删除数据库drop database xx默认情况

原创 使用Hive操作数据

（一）HIVE数据类型1.基本数据类型（了解）2.复杂数据类型(1)ARRAY的使用1.数据说明创建person.txt文件2.创建person表create table person(name string,work_location array<string>)row format delimitedfields terminated by '\t'collection items terminated by ',';对每行数据按字段分隔：本例中n

原创 HIVE概述

Hive是基于Hadoop的一个数据仓库工具，可以将结构化文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。1、简介对比常用的数据存储管理： 文件 数据库，添删改查 大数据环境下数据存储管理： 文件---------->HDFS 数据库------->HBase（OLTP）添删改，Hive（OLAP）查 出现出现原因： 基于sql的数据管理，要转到Hadoop上 Had

原创 HBase的Java客户端编程思维导图

原创 有关HBase搭建、数据模型、shell思维导图

原创 使用Java对HBase进行操作（三）

七、删除数据—跟据行键删除一行数据与前面类似，删除操作中先创建一个Delete对象将行键传入，然后通过addColumn()方法将改行键对应的列族和列添加上，并从表中进行删除public static void deleteRow(String tableName,String row,String cf,String col)throws IOException{Configuration cfg = HBaseConfiguration.create();cfg.set("hbase.zo

原创 使用Java对HBase进行操作（二）

上篇blog中讲解了对表的查询以及创建、删除，是对整个表的操作，下面进行对表中的数据的增删改查操作。四、增添数据在对表进行数据的增加操作中，可以进行添加一行数据，也可以进行一次添加多行数据。（1）添加一行数据：首先先对表进行判断，判断表是否存在，若表存在则通过Connection获取所操作的Table类的一个实例，即将table取出。 Table table = conn.getTable(TableName.valueOf(tableName));为添加数据，所以应该指明添加...

原创 使用Java对HBase进行操作（一）

这里不再使用HBase命令行对表进行操作，而是通过Java API接口对HBase进行处理，包括对表的增删改查操作一、判断表是否存在设置配置信息Configuration cfg = HBaseConfiguration.create();cfg.set("hbase.zookeeper.quorum", "centos01");cfg.set("hbase.zookeeper.property.clientPort", "2181");根据配置信息取得与数据库的连接Conne...

原创 Hbase基础知识（一）

一、NoSQLSQL为关系型数据库，NoSQL泛指非关系型数据库，NoSQL不使用SQL作为查询语言，其数据存储可以不需要固定的表模式,一般具备水平可扩展的特性常见的NoSQL数据库如下：HBase redis membase以MySQL为例，传统数据库应用出现什么问题，为什么要使用NoSQL?单机时代的MySQL以C/S结构的程序居多，B/S结构的程序多是静态网页，动态交互类网站并不多。应用APP -> 数据访问 ->MySQL Instan...

原创 计算机网络（第七版 谢希仁）第1章 概述（一）

1.1计算机网络在信息时代的作用（一）三大类熟悉的网络电信网络 有线电视网络 计算机网络（二）互联网的基本特点连通性 共享1.2互联网概述1.2.1网络的网络1.计算机网络：由若干节点和链接这些节点的链路组成网络中的节点可以是计算机，集线器，交换机和路由器等网络之间还可以通过路由器互连起来，这就构成了一个覆盖范围更大的计算机网络，即互连网（internet）。互连网是“网络的网络”（必须有路由器）。网络把许多计算机连接在一起，而互联网则把许多网络通..

原创 Mapreduce编程模型（二）

2.1Mapreduce工作机制2.1.1提交作业的方式通过一个简单的方法调用来运行MapReduce作业Job对象上的submit()，直接将作业提交到Hadoop平台上 调用Job对象上的waitForCompletion()方法，用于用于提交之前没有处理过的作业，等它完成，客户端会时刻打印作业执行的进度信息。（常用）2.1.2经典的Mapreduce 1运行机制包含4个独立的实体：1）Client，提交MapReduce程序到JobTracker2）JobTracker，负责

原创 HDFS入门 （四）

六、HA机制通过学习，我们发现，如果一个集群中的NameNode突然宕机，那么集群就不能提供服务了，因为NameNode存储了HDFS上的元数据信息，NameNode一旦宕机，其上存储的文件元数据信息会立即从内从中丢失。当客户端再次请求访问某个文件时，找不到NameNode，就找不到请求文件的元数据，即找不到请求文件的名字、地址即块列表等信息。因此对于这种情况应该如何应对？这里提出了HA机制。HA机制的基本思想是：在集群中接入两个NameNode节点，若其中一个宕机，...

原创 HDFS入门（三）

五、HDFS接口（一）HDFS命令行接口HDFS命令行接口作为了解，在这里不再赘述（二）JAVA API接口使用URL访问hdfs1）怎么访问？java.net.URL可以访问文件系统，但其默认支持http协议，不支持hdfs协议2）如何支持？URL.setURLStreamHandlerFactory()方法中，添加hdfs协议对象FsUrlStreamHandlerFactory即可即java.net.URL.setURLStreamHandlerFactory(new

原创 HDFS入门（二）

三、HDFS的体系结构HDFS是一个主从体系结构，由于分布式存储的性质，一个HDFS集群由一个NameNode和多个DataNode组成。NameNode作为主控服务器节点，负责管理HDFS的命名空间，记录文件数据块在每个DataNode节点上的位置和副本信息，协调客户端对文件的访问操作；DataNode是数据存储的节点，负责自身所在物理节点上的存储管理。客户端通过同NameNode和DataNode交互访问文件系统，客户端通过联系NameNode以获取文件元数据，而真正的文件I/O操作时直接和Data

原创 HDFS入门（一）

一、认识HDFS1.分布式文件系统当单台服务器的存储量和计算性能已经无法处理超大文件时，分布式文件系统应用而生。为存储超大文件，可将文件切分为很多“块”，并将其均匀的存储在堕胎服务器上，然后通过一套系统来维护这些“块”。当用户需要访问时，该系统将后台多个服务器上存储的“块”临时拼装，并返回给统一的客户端，用户就像是操作一台计算机一样访问该超大文件，这套系统就是“分布式文件系统”。HDFS是基于流式数据访问模式，流式数据就是将数据序列化为字节流。HDFS中存放的数据一定是流式数据，是可序列..

原创 Hadoop思维导图（部分）

随着不断学习再更新~

原创 WordCount实例分析（三）

完成map和reduce函数的重写后，下面将其整合起来。用来把map函数和reduce函数整合起来的组件叫做作业。即：将1.txt的文本内容进行词频统计可以写一个Mapreduce的job。这个作业中包括map和reduce的处理。“map负责映射和分发，reduce负责聚合统计”。map函数和reduce函数之间是串联的关系Code：public static void main(String[] args) throws Exception { //设置配置文件 Co.

原创 WordCount实例分析（二）

接上篇blog下面来写reduce函数。reduce函数负责将key相同的单词合并，并将对应的value值放入一个集合中，对集合中的数值进行累加。所以map函数的输出到达reduce的输入时，就变成了键值对列表的集合。 由于reduce函数也是分布式并行计算的，则需要写一个MyReducer类去继承Mapreduce框架提供的对reduce函数定义的Reducer类，然后对该类中的reduce函数进行重写。MyReducer类MyReducer类继承自reduc...

原创 WordCount实例分析（一）

由上篇blog可知，Mapreduce架构处理问题过程中，需要map()函数和reduce()函数即可同时再添加驱动程序进行实现，本文针对该实例进行简要分析。1.创建Maven项目首先通过右键new-project-Maven-Maven Project(如下图所示)，之后一直执行Next，进行骨架选择，选择maven-archetype-quickstart骨架，之后并进行命名，本项目命名为hadoop01，并在src/main/java下建立package名为com.qst.test。之后在其下

原创 Mapreduce编程模型（一）

1.1Mapreduce模型简介Mapreduce是一种可用于数据处理的编程模型，Hadoop上可以运行各种语言版本的Mapreduce程序。Mapreduce程序是并行运行的，采用了分治的思想。编程核心思想：键值对思想 Mapreduce只需要用Map和Reduce的思想即可解决问题，即编写map()和reduce()函数 Mapreduce编程的特点：开发简单 可扩展性强 容错性强1.2 Mapreduce运行机制简介Mapredu...

原创 Matlab基本操作命令

矩阵乘法>> A=[4 -2 2;-3 0 5;1 5 3];B=[1 3 4;-2 0 -3;2 -1 1];>> A*B矩阵采用矩阵构造符[]进行构造,元素放入其中可以通过空格和逗号进行隔开，不同行之间可以通过分号进行隔开。矩阵的逆>> A = [1,2,3;3,4,6;4,6,5];>> rank(A)ans = 3求行列式的值A = [1,2,3;3,4,6;4,6,5]A = 1

原创 刷题记录08—HDOJ

目录2029判断回文串2030汉字统计2029判断回文串#include<iostream>#include <string>using namespace std;int main(){ int n;int a; cin>>n; cin.get();//接收回车 for(int i=0;i<n;i++) { string s; int flag=0; getline(cin,s); for(int j=.

原创 刷题记录07—HDOJ

2024C语言合法标识符#include<iostream>#include<string> //使用getline()函数时要加的头文件，而不是cstring#include<ctype.h>using namespace std;int main(){ int n; cin>>n; cin.get(); while (n--) { string s; getline(cin,s); //不可以直接用cin

原创 刷题记录06—HDOJ

2020题—绝对值排序#include <iostream>#include<string>#include<cmath>using namespace std;int main(){ int n,a; int s[105]; while (cin>>n) { if(n==0)break; for(int i=0;i<n;i++) { cin>>a; s[i]=a; } for(i.

原创 刷题记录06—HDOJ

2019数列有序#include<iostream>using namespace std;int main(){ int n,m; int s[1000]; while (cin>>n>>m) { if(n==0&&m==0) break; for(int i=0;i<n;i++) cin>>s[i]; if(m>s[n-1]) s[n]=m; else {..

原创 刷题记录05—HDOJ

一、2014题评委打分AC代码：#include<iostream>#include <iomanip>using namespace std;int main(){ int n,s[100]; while(cin>>n) { int max=0,min=0,sum=0; for(int i=0;i<n;++i) { cin>>s[i]; i.

原创 刷题记录04—HDOJ

最大公约数问题欧几里得算法欧几里得算法也叫辗转相除法，是求两个整数最大公约数的算法。当然也可以求最小公倍数。算法实现其实算法的实现原理就是，有整数a b两个，每次求的一个数字r = a % b，然后把b放到a的位置，把r放到b的位置，递归调用。就是gcd(a, b) { return gcd(b, a%b); }这个样子的。结束条件是当 a%b == 0的时候停止。参考：https://blog.csdn.net/alps1992/article/details/44689575

原创 算法记录—冒泡排序法

#include <iostream>#include<string>#include<cmath>using namespace std;int main(){ int arr[9]={4,2,8,0,5,7,1,3,9}; int t; for (int i =0 ; i <8 ; i++) { for (int j = 0; j<9-i-1 ; j++) { .

原创 数组逆置（C++）

今天写一下数组逆置的算法，注意和数组逆序输出不太相同，数组逆置是在数组内部改变数组的顺序，而逆序输出只是在输出时逆序。具体代码如下：#include <iostream>#include<string>#include<cmath>using namespace std;int main(){ int a[5]; for (int i = 0; i < 5; i++) { cin>>a[i]; } int e

原创 刷题记录03-HDOJ

一、2011多项式求和--一题多解解法一：直接求解#include<iostream>#include<math.h>#include<iomanip>using namespace std;int main(){ int m; int n; int a[101]; while (cin>>m) { for(int i=0;i<m;i++) { cin>>n;

原创 刷题记录02-HDOJ

今天写了2000—2011、2039、1720、1062题，感觉有几道题还是需要记录一下的：一、2001目录一、2001二、2004三、2005四、2007五、2010这个题中需要注意的是，不能直接使用万能头#include<bits/stdc++.h>,否则会出现compilation error,并且在输出时应注意要求结果保留两位小数，在c++中的输出应使用头文件#include<iomanip>输出格式为:cout<<se.

原创 2021-07-17

学习目标：CSS初步学习——pink老师课程P61-P77掌握C++循环语句、跳转语句和数组HDOJ学习内容：CSS语法规范 CSS代码风格 CSS选择器的作用-标签选择器、类选择器、id选择器、通配符选择器 字体属性设置 C++循环语句、跳转语句和数组 HDOJ 2000-2011 2039学习时间：7.17学习产出：OJ题目写完并总结前端笔记...

原创 刷题记录01-HDOJ

自从大一下疫情期间在家学了C语言之后，就基本上没有刷过题了，并且当时由于在家学习老师讲的也都很少，练习的也都很少，导致基础比较薄弱，以致于这个学期开的数据结构学的不是很好，也就了解了一些简单的知识，但是奈何下学期还有算法课，所以假期又来补数据结构了，同时开始学学c++，就又从简单的基础题开始做吧，希望自己能够坚持下来，要是有一起学习刷题的下小伙伴就更好了，呜呜呜。。。由于好久不写题了，就从简单的输入输出题开始写起，今天写了HDOJ上的100010011089109010911092...