- 博客(3057)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 基于AWS构建云上数仓第一步：云平台的基础概念
随着云计算概念的不断落地和推广, 目前云平台已经得到了非常广泛的使用.应用落地服务落地安全保障性能等方面获得比传统方式更高效, 更节省, 更稳定, 更方便的优势.
2022-08-09 16:11:46
351
原创 大厂高频面试：Java基础篇（算法、数据结构、基础设计模式）
有一个有序表为 1,5,8,11,19,22,31,35,40,45,48,49,50 当二分查找值为 48 的结点时，查找成功需要比较的次数。使用二分法在序列 1,4,6,7,15,33,39,50,64,78,75,81,89,96 中查找元素 81 时，需要经过（ ）次比较。② A[M] > T，中间值右侧的其它元素都大于 T，无需比较，中间索引左边去找，M - 1 设置为右边界，重新查找。将数组分为两个子集，排序的和未排序的，每一轮从未排序的子集中选出最小的元素，放入排序子集。...
2022-08-09 15:00:06
244
原创 Web APIs BOM- 操作浏览器：本地存储
随着互联网的快速发展，基于网页的应用越来越普遍，同时也变的越来越复杂，为了满足各种各样的需求，会经常性在。本地只能存储字符串,无法存储复杂数据类型.需要将复杂数据类型转换成JSON字符串,在存储到本地。另外此线路图实时更新！1、生命周期永久生效，除非手动删除 否则关闭页面也会存在。本地存储大量的数据，HTML5规范提出了相关解决方案。2、可以多窗口（页面）共享（同一浏览器可以共享）2、设置、读取方便、甚至页面刷新不丢失数据。2、在同一个窗口(页面)下数据可以共享。1、数据存储在用户浏览器中。...
2022-08-08 17:53:21
164
原创 使用Jib插件高效部署容器化的SpringBoot应用
Jib 是谷歌公司推出的开源 Java 镜像构建工具，它可以将一个 Java 应用构建成 OCI 镜像或者是 Docker 镜像，目前最新的 Relaese 版本为 3.2.1JIB 具有以下特点：Jib 使用 Java 开发，并作为 Maven 或 Gradle 的一部分运行.你不需要编写 Dockerfile 或 安装Docker 环境，甚至无需创建包含所有依赖的大 JAR 包，就可以构建出镜像，并将镜像推送到镜像仓库。...
2022-08-08 17:38:06
263
原创 学会自己写starter：你就懂了SpringBoot的自动配置
在操作数据库的项目中，我们都会选用一些高性能的数据库连接池产品，比如DruidDataSource，官方也提供了整合的starter，比如 “druid-spring-boot-starter”。自动配置名字：c3p0-spring-boot-autoconfigurestarter名字： c3p0-spring-boot-starter提供使用c3p0的数据库连接属性（让使用者在yaml文件中对连接进行基本配置）...
2022-08-08 17:34:51
260
原创 如何用Python实现股票量化交易？
1.1 定义量化交易(量化投资)是指借助现代统计学和数学(机器学习)的方法，利用计算机技术来进行交易的证券投资方式。量化交易从庞大的历史数据中海选能带来超额收益的多种“大概率”事件以制定策略，用数量模型验证及固化这些规律和策略，然后严格执行已固化的策略来指导投资，以求获得可以持续的、稳定且高于平均收益的超额回报。1.2 掌握技能1、 基础回测框架Zipline本身只支持美国的证券，无法更好的使用数据，本地运行速度慢2、云端的框架提供部分满足需求的数据（但是平台数据质量不行，指标不完整）...
2022-08-08 10:52:48
13129
3
原创 手撕MybatisPlus分页原理
构建分页构造器(需要传递分页条件 current,size)构建条件构造器(支持条件分页查询)执行查询方法,完成查询解析查询后结果MybatisPlus核心插件 MybatisPlusInterceptor,基于该插件mp实现了丰富的特性,该插件是核心插件,目前代理了和和方法.也就是说该插件可以对查询的执行,增删改的执行以及预处理对象进行功能性的增强.那么是如何对sql实现拦截增强的呢,我们就要研究一下该分页插件的拦截器集合属性.我们提供的插件都将基于此接口来实现功能目前已有的功能:s。...
2022-08-05 17:45:17
601
原创 Java需要掌握的Linux命令大全
这个命令非常实用，有时候当我们输入一段比较长的命令时，光标已经到最后了，但发现前面的命令写错了，一般的做法是按照向左箭头按键一直往左移动光标，改完由按向右监听按键一直向右移动光标，这个效率太慢了，以下快捷键能快速解决这个问题，能直接达到命令最前面和最后面。对比来说，如果网速还不错的话，推荐使用在线安装更加方便。从左至右，先是3个数字，代表文件权限然后是9个字母（或者连字符），其中 1-3位数字代表文件所有者权限，4-6位数字代表同组用户的权限，7-9数字代表其他用户的权限，而具体的权限是由数字来表示的。..
2022-08-05 17:39:57
582
原创 Hadoop技术之HDFS分布式文件系统基础
HDFS (Hadoop Distributed File System ) ， 意为： Hadoop分布式文件系统。是Apache Hadoop核心组件之一， 作为大数据生态圈最底层的分布式存储服务而存在。也可以说大数据首先要解决的问题就是海量数据的存储问题。HDFS主要是解决大数据如何存储问题的。分布式意味着是HDFS是横跨在多台计算机上的存储系统。......
2022-08-04 17:36:36
526
原创 如何最简单、通俗地理解爬虫的Scrapy框架？
Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。Scrapy 使用了 Twisted['twɪstɪd](其主要对手是Tornado)异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。...
2022-08-04 17:11:32
318
原创 SpringMVC掌握RESTful风格及其使用，完成案例
🍎【01】SpringMVC：理解SpringMVC相关概念🍎【02】完成SpringMVC的入门案例🍎【03】SpringMVC：学会使用PostMan工具发送请求和数据🍎【04】掌握SpringMVC如何接收请求、数据和响应结果今日内容对于Rest风格，我们需要学习的内容包括:REST（Representational State Transfer），表现形式状态转换,它是一种软件架构风格当我们想表示一个网络资源的时候，可以使用两种方式:传统方式一般是一个请求url对应一种操作，这样做不仅...
2022-08-04 15:55:36
511
原创 掌握SpringMVC如何接收请求、数据和响应结果
前面我们已经完成了入门案例相关的知识学习，接来了我们就需要针对SpringMVC相关的知识点进行系统的学习，之前我们提到过，SpringMVC是web层的框架，主要的作用是接收请求、接收数据、响应结果，所以这一章节是学习SpringMVC的。SpringMVC接收到请求和数据后，进行一些了的处理，当然这个处理可以是转发给Service，Service层再调用Dao层完成的，不管怎样，处理完以后，都需要将结果告知给用户。前后台以异步方式进行交换，传输的数据使用的是。...
2022-08-03 18:41:36
1181
原创 Web APIs BOM- 操作浏览器：swiper 插件
一、swiper1.1 插件 Swiper中文网-轮播图幻灯片js插件,H5页面前端开发 插件: 就是别人写好的一些代码,我们只需要复制对应的代码,就可以直接实现对应的效果 学习插件的基本过程 本地文件 前期更新笔记内容： Web API 基本认知 / 获取DOM元素 / 设置/修改DOM元素内容和元素属性 / 定时器-间歇函数 / 事件基础 / 高阶函数 / 环境对象 / 综合案例-Tab栏切换 / DOM节点 /DOM 时间对象/DOM 重绘和回流/ DO
2022-08-03 18:26:15
145
原创 大数据开发要学java还是python？
下面一步步带大家来探索大数据学习：用什么语言？学什么内容？技术栈有哪些？最后还送大家完整和的大数据项目学习笔记。
2022-08-03 18:06:05
1225
原创 Hadoop技术之Apache Hadoop集群搭建
官网文档： https://hadoop.apache.org/docs/r3.3.0/第一类1个： hadoop-env.sh第二类4个： xxxx-site.xml ,site表示的是用户定义的配置，会覆盖default中的默认配置。core-site.xml 核心模块配置hdfs-site.xml hdfs文件系统模块配置mapred-site.xml MapReduce模块配置yarn-site.xml yarn模块配置第三类1个： workers。......
2022-08-03 14:58:21
617
原创 Web APIs BOM- 操作浏览器-Window对象
BOM(Browser Object Model ) 是浏览器对象模型window 是浏览器内置中的全局对象，我们所学习的所有 Web APIs 的知识内容都是基于 window 对象实现的window 对象下包含了 navigator、location、document、history、screen 5个属性，即所谓的 BOM （浏览器对象模型）document 是实现 DOM 的基础，它其实是依附于 window 的属性。.........
2022-08-02 18:42:52
286
原创 python用什么数据库比较好？
MySQL与MongoDB都是开源的常用数据库，但是MySQL是传统的关系型数据库，MongoDB则是非关系型数据库，也叫文档型数据库，是一种NoSQL的数据库。它们各有各的优点，关键是看用在什么地方。
2022-08-02 17:31:56
1468
原创 Java培训，看这一篇就够了
Java培训机构怎么选？很多想要转行的人对于选择Java培训存在很多困惑。尤其是现在很多人都会面临两个选择，自学或者是报Java培训班。报班费用太高，时间不自由。自学不知道从哪里开始学，担心自己坚持不下来。...
2022-08-02 14:56:16
28853
原创 软件测试到底自学还是报班？
无论是自学还是培训首先要了解自己的是否适合学习？其次要知道软件测试应该学什么？有没有一个标准？最后要开始做计划、找资料，了解一些别人的学习经验；
2022-08-02 14:46:44
802
原创 学习数据分析需要多少Python基础？
这套将近600集的Python课程是从搭建环境、判断语句，从基础的数据类型，到函数进行学习掌握，让大家可以熟悉文件操作，建立了面向对象的思维方式。当班委，参加社团，去学生会，这些方式都可以锻炼沟通能力，本套课程是帮助大家掌握多任务实现的并行和并发，掌握多进程实现多任务以及多线程实现多任务，带大家了解合理搭配多进程和线程。本套课程学习结束后，可以掌握数据库的基本操作，也可以掌握数据库的增删改查。有业务经验，很好的沟通能力了之后，就要开始学习有效的数据分析方法了，这都需要大量的实战。可视化工具，我们简单聊聊。.
2022-08-02 14:45:22
116
1
原创 SpringMVC：学会使用PostMan工具发送请求和数据
代码编写完后，我们要想测试，只需要打开浏览器直接输入地址发送请求即可。发送的是GET请求可以直接使用浏览器，但是如果要发送的是POST请求呢?如果要求发送的是post请求，我们就得准备页面在页面上准备form表单，测试起来比较麻烦。所以我们就需要借助一些第三方工具，如PostMan.PostMan是一款功能强大的网页调试与发送网页HTTP请求的Chrome插件。作用常用于进行接口测试特征简单实用美观大方。...
2022-08-01 18:32:02
584
原创 应用pca和K-means实现用户对物品类别的喜好细分划分
1.获取数据2.数据基本处理2.1 合并表格2.2 交叉表合并2.3 数据截取3.特征工程 — pca4.机器学习（k-means）5.模型评估sklearn.metrics.silhouette_score(X, labels)计算所有样本的平均轮廓系数X：特征值labels：被聚类标记的目标值3 完整代码...
2022-08-01 18:15:29
303
1
原创 Hadoop技术栈之Linux常用基础命令、系统命令
命令属于死东西，属于多用多会，不用就忘的知识，孰能生巧；Tab键可以实现自动补全和提示，要合理使用；history命令可以显示历史执行记录，或者使用方向键来切换前后执行过的命令；(1/6)显示目录内容ls(listfiles)命令用于显示指定工作目录下之内容(列出目前工作目录所含之文件及子目录)。-a显示所有文件及目录(.开头的隐藏文件也会列出)-l除文件名称外，亦将文件型态、权限、拥有者、文件大小等资讯详细列出注意ls-l=ll(2/6)切换目录。............
2022-08-01 16:45:29
526
原创 Hadoop技术栈：VMware Workstation虚拟机使用
VMwareWorkstation是一款虚拟机软件，允许用户将Linux、Windows等多个操作系统作为虚拟机在单台PC上运行；用户可以在虚拟机上重现服务器、桌面和平板电脑环境，无需重新启动即可跨不同操作系统同时运行应用。SSH协议SSH为SecureShell的缩写,是一种网络安全协议，专为远程登录会话和其他网络服务提供安全性的协议。在Linux中，SSH的主要用途有用户加密实现远程登录、服务器之间的免密登录。SSH协议默认采用RSA算法实现非对称加密，需要两个密钥https。...
2022-08-01 16:15:14
850
原创 机器学习：知道通过低方差过滤实现降维过程
降维是指在某些限定条件下，降低随机变量(特征)个数，得到一组“不相关”主变量的过程降低随机变量的个数相关特征(correlatedfeature)相对湿度与降雨量之间的相关等等正是因为在进行训练的时候，我们都是使用特征进行学习。如果特征本身存在问题或者特征之间相关性较强，对于算法学习预测会影响较大数据中包含冗余或无关变量（或称特征、属性、指标等），旨在从原有特征中找出主要特征。高维数据转化为低维数据的过程，在此过程中可能会舍弃原有数据、创造新的变量应用回归分析或者聚类分析当中。...
2022-07-29 18:50:43
604
原创 机器学习算法：知道canopy、K-means++、二分K-means、K-medoids的优化原理
对于每一个小批量，通过计算平均值得到更新质心，并把小批量里的数据分配给该质心，随着迭代次数的增加，这些质心的变化是逐渐减小的，直到质心稳定或者达到指定的迭代次数，停止计算。k-medoids只能对小样本起作用，样本大，速度就太慢了，当样本多的时候，少数几个噪音对k-means的质心影响也没有想象中的那么重，所以k-means的应用明显比k-medoids多。kernelk-means实际上，就是将每个样本进行一个投射到高维空间的处理，然后再将处理后的数据使用普通的k-means算法思想进行聚类。...
2022-07-29 18:35:42
1357
原创 Hadoop技术栈：Linux操作系统概述
操作系统(operatingsystem，简称OS)是管理计算机硬件与软件资源的程序，需要处理如管理与配置内存、决定系统资源供需的优先次序、控制输入设备与输出设备、操作网络与管理文件系统等基本事务；如μClinux(嵌入式Linux)、WinCE(微软嵌入式、移动计算平台)、RTOS(嵌入式实时操作系统，军事航空领。的操作系统，Linux的初衷就是要替代Unix，并在功能和用户体验上进行优化，所以Linux模。内核与各种常用软件的集合产品，如今全球大约有数百款的。...
2022-07-29 15:35:08
533
原创 完成SpringMVC的入门案例
一次性工作创建工程，设置服务器，加载工程导入坐标创建web容器启动类，加载SpringMVC配置，并设置SpringMVC请求拦截路径SpringMVC核心配置类（设置配置类，扫描controller包，加载Controller控制器bean）多次工作定义处理请求的控制器类定义处理请求的控制器方法，并配置映射路径（@RequestMapping）与返回json数据（@ResponseBody）...
2022-07-28 18:52:45
731
2
原创 大数据导论
数据分析步骤(流程)的重要性体现在对如何开展数据分析提供了强有力的逻辑支撑;张文霖在《数据分析六步曲》说，典型的数据分析应该包含以下几个步骤Step1明确分析目的和思路目的是整个分析流程的起点，为数据的收集、处理及分析提供清晰的指引方向；思路是使分析框架体系化，比如先分析什么，后分析什么，使各分析点之间具有逻辑联系，保证分析维度的完整性，分析结果的有效性以及正确性，需要数据分析方法论进行支撑；Step2数据收集数据从无到有的过程Step3数据处理Step4。...
2022-07-28 18:44:01
470
原创 机器学习：知道模型评估中的SSE、“肘”部法、SC系数和CH系数的实现原理
在机器学习里，主要为了获取数据的特征值，那么就是说，在任何一个矩阵计算出来之后，都可以简单化，只要获取矩阵的迹，就可以表示这一块数据的最重要的特征了，这样就可以把很多无关紧要的数据删除掉，达到简化数据，提高处理速度。计算样本i到最近簇Cj的所有样本的平均距离bij，称样本i与最近簇Cj的不相似度，定义为样本i的簇间不相似度bi=min{bi1,bi2,...,bik}，bi越大，说明样本i越不属于其他簇。从平均SC系数结果来看，K取3，5，6是不好的，那么2和4呢？...
2022-07-28 18:41:07
2479
原创 Web APIs DOM- 网页特效篇 综合案例
需求①：小图标鼠标经过事件鼠标经过小图片，当前高亮，其余兄弟变淡 添加类需求② ：大图片跟随变化对应的大图片跟着显示，如果想要过渡效果，可以使用opacity效果，可以利用CSS淡入淡出的效果，还是添加类需求③：右侧按钮播放效果点击右侧按钮，可以自动播放下一张图片需要一个变化量 index 不断自增然后播放下一张图片如果到了最后一张，必须要还原为第1张图片教你一招： 索引号 = 索引号 % 数组长度 （放到播放前面）需求④：解决一个BUG点击右侧按钮可以实现播...
2022-07-28 18:37:14
195
原创 机器学习：聚类算法实现流程
4、如果计算得出的新中心点与原中心点一样（质心不再移动），那么结束，否则重新进行第二步过程【经过判断，需要重复上述步骤，开始新一轮迭代】2、对于其他每个点计算到K个中心的距离，未知的点选择最近的一个聚类中心点作为标记类别。3、接着对着标记的聚类中心之后，重新计算出每个聚类的新中心点（平均值）5、当每次迭代结果不变时，认为算法收敛，聚类完成，...
2022-07-28 18:36:28
302
原创 机器学习：聚类算法API初步使用
参数n_clusters开始的聚类中心数量整型，缺省值=8，生成的聚类数，即产生的质心（centroids）数。方法计算聚类中心并预测每个样本属于哪个类别,相当于先调用fit(x),然后再调用predict(x)
2022-07-27 17:50:44
263
原创 SpringMVC：理解SpringMVC相关概念
学习SpringMVC我们先来回顾下现在web程序是如何做的，咱们现在web程序大都基于三层架构来实现。三层架构浏览器发送一个请求给后端服务器，后端服务器现在是使用Servlet来接收请求和数据如果所有的处理都交给Servlet来处理的话，所有的东西都耦合在一起，对后期的维护和扩展极为不利将后端服务器Servlet拆分成三层，分别是web、service和daoweb层主要由servlet来处理，负责页面请求和数据的收集以及响应结果给前端service层主要负责业务逻辑的处理、view和。......
2022-07-27 17:37:51
261
原创 MySQL的pymysql操作
MySQL性能强劲，是目前使用最广泛的数据库之一，以MySQL为学习原型也方便之后掌握其他数据库，下面就给大家，结合实际案例让大家有所收获！
2022-07-27 17:06:30
241
原创 机器学习：聚类算法简介
在聚类算法中根据样本之间的相似性，将样本划分到不同的类别中，对于不同的相似度计算方法，会得到不同的聚类结果，常用的相似度计算方法有欧式距离法。用户画像，广告推荐，DataSegmentation，搜索引擎的流量推荐，恶意流量识别。图像分割，降维，识别；发掘相同功能的基因片段。聚类算法是无监督的学习算法，而分类算法属于监督的学习算法。学习算法，主要用于将相似的样本自动归到一个类别中。基于位置信息的商业推送，新闻聚类，筛选排序。...
2022-07-26 18:00:59
313
原创 基于SpringBoot的完成SSM整合项目开发案例
我们完成这个案例基本是将之前做的拷贝过来，修改成。放置在resources目录下的static目录中。工程不需要这些配置类，所以这些可以直接删除。工程不需要这些配置类，所以这些可以直接删除。配置起步依赖，必要的资源坐标(druid)程序中静态资源需要放在什么位置呢？程序中静态资源需要放在什么位置呢？工程，在创建工程时需要勾选。代码及测试代码连同包拷贝到。代码及测试代码连同包拷贝到。配置文件中需要配置如下内容。配置文件中需要配置如下内容。工程中需要在接口中添加。工程中需要在接口中添加。包下的接口上在拷贝到。.
2022-07-26 17:50:18
1299
原创 MySQL的JDBC操作及入门案例
JDBC（JavaDataBaseConnectivity,java数据库连接）是一种用于执行SQL语句的JavaAPI。JDBC是Java访问数据库的标准规范，可以为不同的关系型数据库提供统一访问，它由一组用Java语言编写的接口和类组成。JDBC需要连接驱动，驱动是两个设备要进行通信，满足一定通信数据格式，数据格式由设备提供商规定，设备提供商为设备提供驱动软件，通过软件可以与该设备进行通信。...
2022-07-26 16:24:07
134
原创 MySQL的优化分析及效率执行
MySQL性能强劲，是目前使用最广泛的数据库之一，以MySQL为学习原型也方便之后掌握其他数据库，下面就给大家，结合实际案例让大家有所收获！
2022-07-25 18:46:36
156
Java入门第八天：方法的定义和调用、返回值方法、方法重载等
2022-08-02
TA创建的收藏夹 TA关注的收藏夹
TA关注的人