- 博客(18)
- 资源 (1)
- 收藏
- 关注
原创 spark编程基础(算子详解)
包括spark的简介、安装启动等基本介绍对RDD及相关概念的解析对Transformation算子和action算子的详细介绍
2020-12-27 09:06:38
1358
原创 JAVAEE---javaweb和SpringBoot
JavaEE和SpringBoot一 JavaEE基础知识1.分层框架客户端访问—>表现层/控制层 : 总servlet(拦截所有请求并调用方法处理)—>业务层 : service(处理需求)—>持久层/数据访问层 : dao(写底层方法,减少冗余代码)2.MVC模式model : 数据模型,方便各层级之间传递数据view:页面(展示数据)controller:控制器(控制请求与输出,使流程更加清晰)3.Maven项目Maven可以创建java项目、Web项
2020-12-12 22:50:16
3382
原创 ClickHouse02---ClickHouse的入门学习
ClickHouse的应用详情访问主页:https://clickhouse.tech/docs/v20.3/en/启动服务端service clickhouse-server start启动交互式客户端clickhouse-client支持多行输出:clickhouse-client -m一 数据库和表1.数据库的操作创建数据库 create database db_name;切换数据库 use db_name;查看当前数据库 select curre
2020-12-09 12:05:37
607
原创 Hadoop07---Hive基础
HIVE一 hive的启动与连接使用hive的前提:安装好sql、hadoop、hdfs、yarn1.启动hive初始化:只执行一次,执行过后,后面再次启动时不需要执行在bin目录下执行:schematool -initSchema -dbType mysql开启元数据服务前台启动:hive --service metastore后台启动:hive --service metastore &直接启动:hive远程
2020-11-29 20:42:36
1273
原创 Hadoop06---Hbase基础
HBASE基础region核心知识:表的行范围数据,将一张大的表格划分成多个region,将region分配给不同的regionserver及其管理分布式数据库region中有:store — 一个列族对应一个storememorystore — 写数据的内存对象,对整个hfile中的数据排序WALG 记录用户的操作行为storefile 内存对象flush到hdfs中形成hfile文件,storefile就是hfile的抽象对象blockCache 提升查询效率names
2020-11-29 12:36:01
609
原创 MySQL02---JDBC
JDBC##一 JDBC简介JDBC(Java Data Base Connectivity,java数据库连接)是一种用于执行SQL语句的Java API,可以为多种关系数据库提供统一访问,它由一组用Java语言编写的类和接口组成。JDBC提供了一种基准,据此可以构建更高级的工具和接口,使数据库开发人员能够编写数据库应用程序###1.JDBC基本实现步骤1.创建一个Java项目2.导入Mysql连接的jar包(驱动包)3.注册驱动4.获得与数据库的链接5.创建代表发送和执行SQL语句的对象
2020-11-28 10:05:01
74
原创 MySQL01---MySQL基本语法
MySQL基本语法一 数据类型类型描述int整型,和java中的int类型一样;double浮点型,例如double(5,2)表示该列存放的数据最多是5位,而且其中必须有2位小数,它的最大值是:999.99;decimal浮点型,用于保存对准确精度有重要要求的值,例如与金钱有关的数据。char (120)固定长度字符串类型,如果没有指定长度,默认长度是255,如果存储的字符没有达到指定长度,mysql将会在其后面用空格补足到指定长度;varchar(1
2020-11-28 09:00:46
343
原创 Hbase---布隆过滤器分析
Hbase文件存储特点:同一个region的文件按照列族存储,而不是按行存储;也就导致了在一个Hfile文件中,存储的是一个列族的多行数据。Hbase系统读取数据特点:通常是读取一行数据,或者是读取单个cell数据;当region中存储大量数据后,列族目录下就会有大量的Hfile文件;而不论是读取一行数据还是单个cell数据,首先都要通过行键在对应的region目录下查找包含有该行键信息的Hfile文件。需求分析:通过对上述Hbase文件存储特点和读取数据特点的分析,发现一个.
2020-11-28 08:58:33
245
原创 Linux02---Linux基础操作
Linux基础操作一 虚拟机初始化1.安装JDK2.配置环境变量/etc/profile修改hostname修改hosts二 集群搭建1.克隆关闭虚拟机进行克隆开启克隆的虚拟机修改ip地址vim /etc/sysconfig/network-scripts/ifcfg-eth0重启网络任务2.免密连接创建公钥和私钥ssh-keygen初始化连接ssh-copy-id 要连接的虚拟机3.远程复制只有两台机器开启了免密连接后才可以远程复制
2020-11-27 20:40:49
85
原创 Linux01---Linux常用命令
Linux常用命令一 根目录简介/bin: (binaries) 存放系统命令的目录,所有用户都可以执行。/sbin : (super user binaries) 保存和系统环境设置相关的命令,只有超级用户可以使用这些命令,有些命令可以允许普通用户查看。/usr/bin:存放系统命令的目录,所有用户可以执行。这些命令和系统启动无关,单用户模式下不能执行/usr/sbin:存放根文件系统不必要的系统管理命令,超级用户可执行/root: 存放root用户的相关文件,root用户的家目录。宿主目
2020-11-27 20:40:08
504
原创 HTML03---服务连接器Servlet
服务连接器Servlet一 servlet概述1. 概念 Servlet: Server Applet的简称,是服务器端的程序(代码、功能实现),可交互式的处理客户端发送到服务端的请求,并完成操作响应。作用 :•接收客户端请求,完成操作。•动态生成网页(页面数据可变)。•将包含操作结果的动态网页响应给客户端2. 基本原理 将网页提交的信息接收 , 使用java语言进行处理,所用到的java文件就是广义上的servlet3. 流程创建java EE项目,并为idea配置T
2020-11-27 20:39:21
314
原创 HTML01---html+css
HTML+CSS基础一 HTML基础1. HTML简介超文本标记语言,(Hyper Text Markup Language),使用标记标签来描述网页的一门非编程语言HTML文件被浏览器加载读取,以网页的形式展示。简单来说HTML就是用来写网页,展示信息的。2. 基本标签HTML语言组成标签 : txt 写在尖角号<>里的第一个单词,叫做标记,也叫做标签,也称作元素;属性 : 标记和属性用空格隔开,属性和属性值用等号连接,属性值必须放在双引号内 一个标记可以有多个
2020-11-27 20:38:21
236
原创 HTML02---javaScript
typora-root-url: img#HTML02 JavaScript##一 JavaScript概述###1. 什么是JavaScriptJavaScript是因特网上最流行的脚本语言。脚本语言不能单独使用,必须嵌入到其他语言中组合使用JavaScript不能单独使用,必须和其他语言(HTML)结合使用JavaScript由浏览器解释执行(解释一条,执行一条。故写代码时能用一条语句就不要用两条语句)JavaScript代码:必须效率和可读性JavaScript代码遇到错误,解.
2020-11-27 20:36:43
203
原创 Hadoop05---zookeeper基础
zookeeperJava端常用命令1.基本命令代码如下:public class ZkText { public static void main(String[] args) throws Exception { //写入方法内// ZooKeeper zk = new ZooKeeper("linux01:2181,linux02:2181,linux03:2181", 2000, null); ZooKeeper
2020-11-27 20:23:10
71
原创 Hadoop04---Yarn的安装与基础
Yarn的安装与基础一 配置Yarnyarn在hadoop中存在,对配置文件稍加修改即可使用1.修改yarn-site.xml在hadoop/etc/hadoop/yarn-site.xml 添加如下内容:<!-- resourcemanager主节点所在机器 --><property><name>yarn.resourcemanager.hostname</name><value>linux01</value>&l
2020-11-27 20:22:30
298
原创 Hadoop03---MapReduce基础
MapReduce基本用法一 MapReduce基本定义1.简介 MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)“和"Reduce (归约)”,是它们的主要思想,都是从函数式编程语言里借来的,还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值对,指定并发的Reduce(归约)函数,用来保证所有映射的键值对中
2020-11-27 20:21:15
149
原创 Hadoop02---HDFS基础(HDFS原理 java客户端).md
HDFS基础一 启动HDFS一键开启: start-dfs.sh一键停止: stop-dfs.sh>二 HDFS基本原理1.HDFS上传文件流程客户端向NameNode进行请求NameNode校验存储空间,空间充足,向客户端返回ok客户端将文件进行切块处理,将切块数量等信息传递给namenodeNameNode确认所有数据块的存储位置,并将位置信息返回给客户端客户端依据获得的存储位置信息,在文件系统中建立连接,将客户端与目标DataNode相连连接成功向客服端返回ok,
2020-11-27 20:19:55
501
原创 Hadoop01---HDFS安装流程
HDFS安装流程1.上传解压将安装包上传解压至指定文件夹(rz)2.配置变量2.1 配置JAVA_HOME文件位置:vi /opt/apps/hadoop-3.1.1/etc/hadoop/hadoop-env.sh更改内容: # variable is REQUIRED on ALL platforms except OS X! export JAVA_HOME=/opt/apps/jdk1.8.0_141/(注意删除注释符#)2.2 设置HDFS地址文件位置:
2020-11-26 22:04:54
207
Hadoop02---HDFS基础(HDFS原理 java客户端).md
2020-11-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人