- 博客(64)
- 收藏
- 关注
RSS订阅原创 MaxCompute实践之路（三） -- Java对接MaxCompute
一. jdbc方式对接maxcompute创建完成项目后，创建以下类，根据注释，调好对应参数即可import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;public class Main { private static final String DRIVER
2021-09-16 20:02:23
2137
原创 MaxCompute实践之路（二） -- 使用操作流程
一. 阿里云MaxCompute使用操作流程官网链接：https://help.aliyun.com/document_detail/27803.html?spm=a2c4g.11186623.6.593.788e7b49SgUG8S根据官网步骤，依次向下执行即可准备工作的基本操作流程如下。1.步骤一：准备阿里云账号创建阿里云账号并实名认证。2.步骤二：（可选）准备RAM用户当需要其他用户协同开发时，需要创建RAM用户并将RAM用户信息转交其他用户3.步骤三：开通MaxCompute开通
2021-09-08 18:10:18
1354
原创 MaxCompute实践之路（一） -- 原理简介
一．DataWorksDataWorks是基于MaxCompute计算和存储，提供工作流可视化开发、调度运维托管的一站式海量数据离线加工分析平台。您可以将DataWorks理解为MaxCompute的一种Web客户端，MaxCompute是DataWorks的一种计算引擎。MaxCompute和DataWorks提供完善的ETL、数据分析、数据地图、数据治理和数据仓库管理能力，并支持SQL、MapReduce、Graph等多种经典的分布式计算模型，能够更快速地解决用户海量数据计算问题，有效降低企业成本
2021-08-27 18:38:27
843
原创 Clickhouse学习之路（六）-- Java链接clickhouse
clickhouse 有两种 JDBC 驱动实现。官方驱动：<dependency> <groupId>ru.yandex.clickhouse</groupId> <artifactId>clickhouse-jdbc</artifactId> <version>0.1.52</version></dependency>三方提供的驱动：<dependency>
2021-08-16 18:59:53
3250
1
原创 Clickhouse学习之路（五）-- 集群方案研究
方案一：MergeTree + Distributed架构图架构解析：MergeTree + Distributed的分布式架构方案，利用的是Distributed表的特性+MergeTree表的特性，分布式表不存储数据，数据来自本地表，将分布式表的数据分为3个shard，每台节点存储三分之一的数据，用户查询的时候是从分布式表所在的节点聚合从Ck1，CK2，CK3的查询结果，然后返回用户，写入数据可以写入分布式表，当然这样的写入方式问题很多，一般是禁止写入分布式表的，那么选择写入本地表的化，需要将数
2021-08-16 18:59:08
1687
原创 Clickhouse学习之路（四）-- 单库启动并远程链接、操作举例
单库启动，并远程链接一．ClickHouse Server启动前需要注意几点：ClickHouse Server服务本身依赖三个端口，这三个端口的默认值是9000（TCP协议）、8123（HTTP协议）和9009（集群数据复制），映射到宿主机的时候尽可能一一对应，所以需要确保宿主机的这三个端口没有被占用，可以使用Docker的参数-p指定容器和宿主机的端口映射。ClickHouse Server正常使用需要修改容器系统的文件句柄数量配置ulimit nofile，可以使用Docker参数–ulimi
2021-08-09 17:22:17
585
原创 Clickhouse学习之路（三）-- 分布式表、索引原理
一．Clickhouse分布式表（引擎）的概念及举例1.ClickHouse分布式表的本质并不是一张表，而是一些本地物理表（分片）的分布式视图，本身并不存储数据。2.支持分布式表的引擎是Distributed，建表DDL语句示例如下，_all只是分布式表名比较通用的后缀而已。3.分布式（Distributed）表引擎是分布式表的代名词，它⾃身不存储任何数据，⽽是作为数据分⽚的透明代理，能够⾃动的路由数据⾄集群中的各个节点，即分布式表需要和其他数据表⼀起协同⼯作。分布式表会将接收到的读写任务，分发到各个
2021-08-09 17:21:21
1216
原创 Clickhouse学习之路（二）-- 分区、分片原理
一．Clickhouse分区的概念1.分区是表的分区，具体的DDL操作关键词是 PARTITION BY，指的是一个表按照某一列数据（比如日期）进行分区，对应到最终的结果就是不同分区的数据会写入不同的文件中。2.ClickHouse支持PARTITION BY子句，在建表时可以指定按照任意合法表达式进行数据分区操作，比如通过toYYYYMM()将数据按月进行分区、toMonday()将数据按照周几进行分区、对Enum类型的列直接每种取值作为一个分区等。3.数据Partition在ClickHouse中
2021-08-05 19:07:57
7508
1
原创 Clickhouse学习之路（一）-- 功能简介
Clickhouse是一个简单化和统一化的大数据分析平台。一．版本介绍企业应用建议使用LTS版本，LTS版本是为企业应用推出的稳定版本，差不多6个月一个版本。二．功能概述1. 真正的面向列的DBMS在一个真正的面向列的DBMS中，没有任何“垃圾”存储在值中。例如，必须支持定长数值，以避免在数值旁边存储长度“数字”。例如，十亿个UInt8类型的值实际上应该消耗大约1 GB的未压缩磁盘空间，否则这将强烈影响CPU的使用。由于解压缩的速度（CPU使用率）主要取决于未压缩的数据量，...
2021-08-05 19:04:43
320
原创 简明理解spring，springMvc，springBoot，springCloud的区别
spring，springMvc，springBoot，springCloud的区别springMvc框架springMvc框架的特点Spring MVC的工作原理SpringMVC的运行机制，以及运行机制的流程springMvc框架Spring MVC提供了一种轻度耦合的方式来开发web应用。Spring MVC是Spring的一个模块，式一个web框架。通过Dispatcher Ser...
2020-04-21 16:42:36
307
原创 简谈springCloud框架
简谈springCloud框架springCloud框架springCloud框架的常用组件springCloud框架的优缺点springCloud与dubbo对比springCloud框架原理springCloud框架Spring Cloud是一系列框架的有序集合。它利用Spring Boot的开发便利性巧妙地简化了分布式系统基础设施的开发，如服务发现注册、配置中心、消息总线、负载均衡、断路...
2020-04-21 16:21:34
374
1
原创 简谈springBoot框架
简谈springBoot框架springBoot框架springBoot框架的特点springBoot框架的特性springBoot框架的优点springBoot启动原理图springBoot框架Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。通过...
2020-04-21 11:37:17
663
原创 简谈springMvc框架
简谈springMvc框架springMvc框架Spring MVC的工作原理springMVC中的几个组件SpringMVC的运行机制，以及运行机制的流程springMvc框架的特点springMvc注解的优点springMVC的工作原理图springMvc框架Spring MVC提供了一种轻度耦合的方式来开发web应用。Spring MVC是Spring的一个模块，式一个web框架。通...
2020-04-17 17:47:28
245
原创 简谈spring框架
简谈spring框架spring框架spring框架的原理spring的模块IOCAOPspring框架的优点spring框架为企业级开发带来的好处Spring生命周期流程图spring框架Spring框架主要用于与其他技术(struts,hibernate等)进行整合,可将应用程序中的Bean组件实现低耦合关联.最终可以提高系统扩展和维护性.可以利用Spring框架管理系统的各个组件(A...
2020-04-17 17:39:54
309
原创 最简单的HTTPS原理讲解
最简单的HTTPS原理讲解学习HTTPS原理的背景什么是对称加密，以及什么是非对称加密？传统的http方式在网络传输时存在哪些问题引用对称加密引用非对称加密CA机构使用CA机构的问题问题解答学习HTTPS原理的背景https这项技术现在已经应用得非常广泛了。随着苹果、Google等各大互联网领头企业纷纷在自己的操作系统、浏览器等主流产品中强制要求使用https，http的淘汰也正式进入了倒计时...
2020-03-10 15:35:46
571
1
原创 wdatepicker设置默认显示时间
wdatepicker设置默认显示时间第一步，首先在html页面设置使用了wdatepicker的框，并写出框的id和name第二步，根据id为时间框设置点击事件第三步，根据点击事件设置为时间框返回value值的函数第一步，首先在html页面设置使用了wdatepicker的框，并写出框的id和name//起始时间，id为START_TIME<input class="Wdate" t...
2020-03-10 10:23:01
8679
原创 调试接口时遇到前台对账号密码进行了加密怎么办
调试接口时遇到前台对账号密码进行了加密怎么办使用postman调试接口的步骤（账号加密）第一步，首先正常登陆一遍，并在前台页面控制台中（F12）中找到下面信息添加到postman中第二步，退出登陆，进行第二次登陆。首先应在前台页面控制台中（F12）中找到加密的js第三步，找到加密的js方法后，点击左侧行数位置，对方法设置断点第四步，按正常流程输入账号密码登录第五步，观察你打断点的代码行的后面，此时...
2019-11-14 16:20:14
1751
原创 java中的类型转换
java中的类型转换数据类型整型浮点类型char类型boolean类型数值类型之间的转换数据类型Jana是种强类型语言。 这就意味着必须为每一个变量声明种类型。在Java中，共有8种基本类型( pimive type)，其中有4种整型，2种浮点类型，1 种用于表示Unicode编码的字符单元的字符类型char 和1种用于表示真值的boolean类型注意：Java有一个能够表示任意精度的算术包...
2019-10-23 18:02:24
347
原创 对Java中流的理解
对Java中流的理解什么叫流？对流进行分类节点流处理流四种基本流对上面图中的流的功能进行介绍什么叫流？Java中的流是个抽象的概念，当程序需要从某个数据源读入数据的时候，就会开启一个数据流，数据源可以是文件、内存或网络等等。相反地，需要写出数据到某个数据源目的地的时候，也会开启一个数据流，这个数据源目的地也可以是文件、内存或网络等等。对流进行分类按照流的方向不同：分为输入流和输出流。按...
2019-09-14 14:44:38
441
原创 dubbo--使用IDEA搭建简单的dubbo项目
dubbo--使用IDEA搭建简单的dubbo项目第一步，创建一个dubbotest名字的maven项目第二步，分别创建名字为dubbo_api，produce，consumer的module子项目第三步，分别修改pom文件第四步，分别在dubbo_api，produce，consumer的module子项目中创建java根目录和resources库第五步，在dubbo_api中创建一个接口，并在...
2019-09-01 22:15:41
4801
6
原创 简单叙述innoDB，MyISAM，NDB，Memory存储引擎
innoDB，MyISAM，NDB，Memory存储引擎innoDB存储引擎MyISAM存储引擎NDB存储引擎Memory存储引擎、innoDB存储引擎innoDB存储引擎：innoDB存储引擎是mysql5.5.8默认的存储引擎，innoDB的设计主要是面向OLTP的应用，其特点是支持事物、行锁设计、支持外键。MyISAM存储引擎MyISAM存储引擎：不支持事物、表锁设计、支持全文索引...
2019-08-25 15:05:35
564
原创 必须掌握的-中小公司面试基本点（准备大纲）
必须掌握的-中小公司面试基本点java基础知识算法常用框架前端设计模式linux命令基本领域技能java基础知识8种基本类型，字符串方法，stringbuilder和string和stringbuffer的比较,switch击穿，final语义静态与非静态的区别，类内部成员初始化顺序继承，多态，抽象类与接口的区别，hashcode，反射用途，反射代码要熟练几种内部类以及各自特点，代理的...
2019-08-25 11:57:57
538
原创 在虚拟机ubuntu64位系统中配置jdk
在虚拟机ubuntu64位系统中配置jdk第一步，下载jdk第二步，新建一个文件夹后将压缩包解压到这个文件中第三步，任意地方打开一个终端，这里在桌面打开第四步，将系统的配置文件备份第五步，在终端中打开配置界面第六步，检查配置是否成功第一步，下载jdk下载在ubuntu中能使用的压缩包，包名的格式为 xx.tar.gz。例如：第二步，新建一个文件夹后将压缩包解压到这个文件中如：第三步，任...
2019-08-23 21:02:17
394
原创 jQuery知识点
jQuery知识点jQuery 简介jQuery 语法语法文档就绪函数jQuery 选择器选择器元素选择器属性选择器CSS 选择器jQuery 事件事件常见的dom事件方法语法jQuery 名称冲突常用的 jQuery 事件方法关于获取触发事件的说明jQuery 简介jQuery 库可以通过一行简单的标记被添加到网页中。jQuery是一个JavaScript函数库。jQuery是一个轻量...
2019-08-15 20:03:25
367
原创 Thymeleaf使用教程
Thymeleaf使用教程Thymeleaf介绍Thymeleaf语法变量表达式 ${}选择变量表达式 *{}链接表达式 @{}片段表达式 ~{}消息表达式其它表达式Thymeleaf对象基础对象${#ctx} 上下文对象${#vars} 上下文变量${#locale} 上下文区域设置${#request} HttpServletRequest对象${#response} HttpServle...
2019-08-14 15:50:49
616
原创 全网最详细——用java实现网页信息爬虫
java网页爬虫的实现爬取某数字网站公司信息第一步第二步第三步第四步详细代码爬取某数字网站公司信息第一步首先先分析页面url，爬虫最重要的就是获取页面的url，观察要爬取页面的url查看其规律找到其构成元素，一般都会有id、页面信息等然后分析页面请求数据后返回的数据类型，有的页面信息直接在html代码中，有的返回的是json，根据不同情况分别解析便可第二步模仿浏览器访问，否则可能...
2019-07-15 15:26:30
1364
2
原创 对cookie，session，token的理解
对cookie，session，token的理解cookie定义产生用途生存周期Session定义Session发展史token定义使用特点如何使用cookie定义Cookie，有时也用其复数形式Cookies，指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密)。产生Cookie是由服务器端生成，发送给User-Agent（一般是浏览器），浏...
2019-07-05 00:30:07
374
原创 第七版（谢希仁）计算机网络 知识点总结
第七版（谢希仁）计算机网络 知识点总结第一章 概述第二章 物理层第三章 数据链路层第四章 网络层第五章 运输层第六章 应用层第一章 概述计算机网络（可简称为网络）把许多计算机连接在一起，而互连网则把许多网络连接在一起，是网络的网络。以小写字母i开始的internet（互连网）是通用名词，它泛指由多个计算机网络互连而成的网络。在这些网络之间的通信协议(即通信规则)可以是任意的。以大写字母I...
2019-06-24 11:09:24
7880
原创 内部类的特点和应用场景
内部类的特点和应用场景特点应用场景特点静态内部类是指被声明为static的内部类，不能访问外部类的普通成员变量，只能访问外部类中的静态成员变量和静态方法。去掉关键字static就是成员内部类，可以自由的引用外部类的属性和方法。局部内部类是指定义在一个代码块内的类，作用范围为其所在的代码块。局部类类似于局部变量一样，不能被public、protected、private以及static修饰...
2019-06-20 16:07:39
754
原创 内部类有哪几种
内部类有哪几种内部类静态内部类成员内部类局部内部类匿名内部类内部类内部类(nested classes)，面向对象程序设计中，可以在一个类的内部定义另一个类。嵌套类分为两种，即静态嵌套类和非静态嵌套类。静态嵌套类使用很少，最重要的是非静态嵌套类，也即是被称作为内部类(inner)。内部类是JAVA语言的主要附加部分。内部类几乎可以处于一个类内部任何位置，可以与实例变量处于同一级，或处于方法之内...
2019-06-20 15:25:33
2976
原创 对进程，线程，协程，管程，纤程的理解
对进程，线程，协程，管程，纤程的理解进程线程协程管程纤程进程进程的定义：狭义定义：进程就是程序的执行过程。、进程是一个具有一定独立功能的程序关于某个数据集合的一次运行活动。它是操作系统动态执行的基本单元，在传统的操作系统中，进程既是基本的分配单元，也是基本的执行单元。操作系统引入进程的概念的原因：从理论角度看，是对正在运行的程序过程的抽象；从实现角度看，是一种数据结构，目的在于清晰...
2019-06-20 10:39:17
2722
原创 对Java中常用注解的用法详解
对Java中常用注解的用法详解什么叫注解@Controller@RequestMapping@Autowired什么叫注解Java 注解（Annotation） 为我们在代码中添加信息提供了一种形式化的方法，是我们可以在稍后某个时刻方便地使用这些数据（通过 解析注解 来使用这些数据），常见的作用有以下几种：生成文档。这是最常见的，也是java 最早提供的注解。常用的有@see @param...
2019-06-18 11:48:15
480
原创 byte-ease项目笔记
项目笔记split函数required和defaultValue合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片split函数Java中的 split 函数是用于按指定字符（串）或正则去分割某个字符串，结果以字符串数组形式返回；例如：System.out.println("bookTimeSpace："+bookTimeSpace); begi...
2019-06-18 11:47:13
319
原创 垃圾回收算法
垃圾回收算法垃圾回收的概念垃圾回收算法引用计数法标记-清除算法复制算法（Java中新生代采用）标记-整理算法（Java中老年代采用）分代收集算法（Java堆采用）堆内存新生代年老代永久代垃圾回收的概念GC中的垃圾，指的是存在于内存中的、不会再被使用的对象。而垃圾回收就是把那些不再被使用的对象进行清除，收回占用的内存空间。如果不及时对内存中的垃圾进行清理，那么这些垃圾对象所占的内存空间会一直保...
2019-06-08 23:35:36
351
原创 栈，堆，方法区的关系（自己理解）
栈，堆，方法区的关系简单JVM内存模型图在JVM中的栈，堆，方法区的数据交互在JVM中的栈，堆，方法区的内存交互简单JVM内存模型图堆区：存放的是使用new关键字创建的类或者数组的（含成员变量）；栈区：存放的是局部变量（注：形参也是局部变量的一种）和对象的声明引用；方法区（常量池）：存放的是字符串常量，其他基本数据类型的常量，方法区包含所有的class，方法区中包含的都是在程序中永远的唯...
2019-06-08 23:00:44
4351
原创 对栈，堆，直接内存溢出和异常信息整理详解
对栈，堆，直接内存溢出和异常信息整理详解OutOfMemoryError异常Java堆溢出功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式OutOfMemoryError异常Java虚拟机中除了计数器外，虚拟机内存的其他几个运行时区域都有可能发生OutOfMemoryError异常Java堆溢出概述:Java堆用于存储对象实例，只要不断地创建对象，并且保证GC Roots到...
2019-06-08 22:18:27
1103
原创 简单易懂：快速排序算法
快速排序算法概念介绍代码实现概念快速排序(Quicksort)是对冒泡排序的一种改进。快速排序由C. A. R. Hoare在1962年提出。它的基本思想是:通过一趟排序将要排序的数据分割成独立的两部分，其中一部分的所有数据都比另外一部分的所有数据都要小，然后再按此方法对这两部分数据分别进行快速排序，整个排序过程可以递归进行，以此达到整个数据变成有序序列。在排序的过程中，由于已经分开的两...
2019-06-04 10:53:07
403
原创 按值传递与按引用传递
按值传递与按引用传递按值传递按引用传递按值传递与按引用传递的对比按值传递指的是在方法调用时，传递的参数是按值的拷贝传递。按值传递重要特点：传递的是值的拷贝，也就是说传递后就互不相关了。例如：public class Test0603 { public static void main(String[] args) { // TODO Auto-generated method...
2019-06-03 21:21:55
257
原创 数组存储压缩原理（自己理解）
数组存储压缩原理新的改变新的改变有效存储矩阵的元，可使矩阵的各种运算能有效地进行。所谓压缩存储：为多个值相同的元只分配一个存储空间；对零元不分配空间。...
2019-06-03 19:06:16
1077
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人