- 博客(40)
- 收藏
- 关注
RSS订阅转载 一个秒杀系统的搭建（一）
新建父项目youfanmiaosha2pom文件共有的依赖spring boot，spring boot有父依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http:...
2019-10-04 16:08:00
402
转载 机器学习：数据准备和特征工程
对于数据挖掘，数据准备阶段主要就是进行特征工程。数据和特征决定了模型预测的上限，而算法只是逼近了这个上限。好的特征要少而精，这会使模型更简单、更精准。一、特征构造1.’常见提取方式文本数据的特征提取词袋向量的方式：统计频率图像数据的特征提取像素点RGB用户行为特征提取...
2019-10-04 00:13:00
1106
转载 JSON和fastjson
一、JSON语法规则：数据在名称/值对中数据由逗号分隔花括号保存对象方括号保存数组名称/值对-->对象-->数组JSON 名称/值对JSON 数据的书写格式是：名称/值对。名称/值对包括字段名称（在双引号中），后面写一个冒号，然后是值："firstName" : "John"JSON 值可以是：数...
2019-09-28 15:43:00
165
转载 统计（一）数据与量化
一、数据是信息点行和列的交叉形成点，行是个体，列是属性1.从左到右的每一行记录一个个体的若干属性2.从上往下的每一列记录一个属性（变项）的实况3.列与行的交汇点是信息点，记录某个体的某属性4.数据库是关于某些个体某些属性的信息库（矿）二、量化研究只测量某些个体的属性1.此统计非彼统计1)此统计不是统计人数的统计2)此统计是由此及彼的工具 由小见大...
2019-09-26 18:01:00
1874
转载 数据挖掘和机器学习概述
一、数据挖掘任务数据挖掘常见的六大任务：1.分类问题2.聚类问题3.回归问题4.关联问题5.序列问题6.异常检测二、数据挖掘流程CRISP-DM：跨行业数据挖掘标准流程各环节的任务与目标预测模型的构建和评分流程六大任务...
2019-09-26 14:41:00
201
转载 RPC服务治理框架（一）RPC技术
一、RPC是什么remote procedure call：远程过程调用过程就是程序，像调用本地方法一样调用远程的过程RPC采用Client-Server结构，通过request-response消息模式实现RMI（remote method invocation）远程方法调用时oop领域中RPC的一种具体实现webservice、restfull接口调用都是R...
2019-09-26 09:56:00
247
转载 数据结构(十二)排序
一、快速排序已经学过的排序分而治之轴点pivot：快速排序坏消息：在原始序列中，轴点未必存在...必要条件：轴点必定已然就位 // 尽管反之不然derangement： 2 3 4... n 1特别地：在有序序列中，所有元素皆为轴点；反之依然快速排序就是将所有元素逐个转换为轴点的过程问题...
2019-09-25 19:00:00
98
转载 数据结构(十一)串
一、ADT定义术语ADTb1串匹配算法评测b2 蛮力匹配版本一版本2复杂度c1KMP算法：从记忆力到预知力蛮力，为何低效很多比对不必进行不变性...
2019-09-25 14:39:00
111
转载 数据结构(十)优先级队列
一、需求与动机元素接受访问的次序按照优先级，而非FIFO场景夜间门诊病情危急的优先治疗多任务调度每个任务都有一个指标，指标都是动态变化的，操作系统总是挑选指标最大的任务交由CPU处理应用、算法与特点问题模式：接口规范纯虚函数a2基本实现基于向量有序向量...
2019-09-25 09:46:00
177
转载 数据结构(九)词典
散列：原理桶bucket：直接存放或间接指向一个词条（即词条的引用）桶数组bucket array/散列表hash table，容量为M，即散列表长度N < M << R空间 = O(N+M)=O(N)定址/杂凑/散列：根据词条的key（未必可比较）直接确定散列表入口散列函数：hash(): key-&...
2019-09-24 20:21:00
289
转载 数据结构(八)高级搜索树
AVL树是典型的适度平衡的二叉搜索树，为每个节点定义引入平衡因子的指标，平衡银子绝对值小于等于1，虽然和理想平衡相比，已经放松了限制，但条件仍显苛刻，还要在动态调整中保持这种特性。一、伸展树局部性Locality：刚被访问的数据，极有可能很快地再次被访问，这一现象在信息处理过程中屡见不鲜。BST就是这样的一个例子BST：刚刚被访问过的节点，极有可能很快地再次被访问，下...
2019-09-24 16:54:00
217
转载 数据结构(七)二叉搜索树
一、概述BST继承了二叉树也就是列表结构的特点，也借鉴了有序向量的特点和优势。BBST平衡二叉搜索树这个子集尤其重要1.循关键码访问数据项之间，依照各自的关键码彼此区分，call-by-key条件：关键码之间支持大小比较与相等比对数据集合中的数据项统一地表示和实现为词条entry形式词条template <typename K, typen...
2019-09-23 23:24:00
216
转载 C++模板
一、函数模板我们可能会遇到功能相同，但参数不同，而不得不写大量重载函数，如求绝对值，根据参数是整数还是浮点数而重载函数。这不仅会导致冗余，如果修改算法时，没有各个函数体中同步修改，会造成在同一个系统中，处理同类型的问题，用的算法不一致。解决：使用模板求绝对值问题语法： template <模板参数...
2019-09-23 15:48:00
126
转载 Hive速览
一、概述Hive由Facebook开源，是一个构建在Hadoop之上的数据仓库工具将结构化的数据映射成表支持类SQL查询，Hive中称为HQL1.读模式2.Hive架构3.使用Hive的原因Hadoop数据分析的问题：MapReduce实现复杂查询逻辑开发难度大，周期长开发速度无法快速满足业务发展使用Hive原因类似SQL语法，使用灵活方便...
2019-09-23 11:53:00
238
转载 Hbase速览
一、概述理解为hadoop中的key-value存储，数据按列存储，基于HDFS和Zookeeper1.应用2.场景适用场景：存储格式：半结构化数据，结构化数据存储，Key-Value存储数据版本：固定集合（多版本），定时删除（TTL）更新：列族结构经常调整写Pattern：高并发写入不适用场景：事务复杂查询Operator...
2019-09-23 10:08:00
207
转载 NLP(一) Python常用开发工具
一、NumpyNumPy系统是Python的一种开源的数值计算包。包括：1、一个强大的N维数组对象Array；2、比较成熟的（广播）函数库；3、用于整合C/C++和Fortran代码的工具包；4、实用的线性代数、傅里叶变换和随机数生成函数。numpy和稀疏矩阵运算包scipy配合使用更加方便。安装：pip install numpy...
2019-09-22 23:06:00
176
转载 Hadoop(三）YARN
Yet Another Resources Negotiator从Hadoop2.0版本开始引入YARN，主要功能：集群资源管理系统负责集群的统一管理和调度与客户端交互，处理客户端请求一、基本架构Master/Slave架构资源管理和节点管理器组成集群的机器启动nodemanager进程，一般与HDFS的datanode一一对应...
2019-09-22 18:17:00
125
转载 Hadoop(二）HDFS
海量数据处理分而治之核心思想：把数据分发到多个节点移动计算到数据附近计算节点进行本地数据处理优选顺序，次之随机读一、HDFS概述修改，先删除，再重新生成1.架构namenode维护着HDFS中存储的文件的元数据，以及每个文件块的列表，以及块所在datanode的信息。namenode会把元数据信息加载到...
2019-09-22 16:23:00
135
转载 Flume速览
Flume是一个分布式的、可靠的、高可用的海量日志采集、聚合和传输的系统。Java实现，插件丰富，模块分明。数据流模型：Source-Channel-Sink事务机制保证了消息传递的可靠性一、基本组件Event：消息的基本单位，有header和body组成。header是键值对的形式，body是字节数组，存储具体数据Agent：JVM进程，负责...
2019-09-21 19:31:00
688
转载 Kafka速览
一、基本结构三台机器组成的Kafka集群，每台机器启动一个Kafka进程，即Broker向broker发送消息的客户端是Producer，拉取消息的客户端是ConsumerProducer和Consumer都是用户实现的broker只负责数据存储，不保存任何Producer和Consumer的信息Kfaka通过zookeeper管理集群bro...
2019-09-21 14:56:00
88
转载 分布式消息中间件(二)ActiveMQ
一、概述Apache出品，最流行的，能力强劲的开源消息总线。1.JMS规范Java消息服务（Java Message Service，即JMS）应用程序接口是一个Java平台中关于面向消息中间件（MOM）的API，用于应用程序之间，或分布式系统中发送消息，进行异步通信。Java消息服务是一个与具体平台无关的API。JMS的对象模型JMS的消息模...
2019-09-21 12:44:00
309
转载 分布式消息中间件(一)设计
中间件1.概述应用场景单体架构如果一个模块升级，比如订单系统，整个系统都要升级耦合度高，开发困难分布式架构后台由多个系统组成多系统协同处理一个请求可以看成分布式系统系统之间相互调用，用RPC远程调用的方式实现但这样系统之间耦合度相对较高为了解决耦合，实现更强的扩展性架构，分布式系统中引入了消息中间件...
2019-09-20 13:22:00
197
转载 大数据算法(一)亚线性算法
来源：大数据算法 王宏志一、概述大数据定义：在给定的资源约束下，以大数据为输入，在给定时间约束内可以生成满足给定约束结果的算法。大数据特点：4V大数据算法可以不是：精确算法内存算法串行算法仅在电子计算机上运行的算法大数据算法不仅是：云计算MapReduce大数据分析和挖掘的算法难度：访问全部数据时间过长...
2019-09-20 11:15:00
962
转载 SparkSQL(一)
一、概述组件运行机制转SparkSQL – 从0到1认识Catalysthttps://blog.csdn.net/qq_36421826/article/details/81988157深入研究Spark SQL的Catalyst优化器（原创翻译）更高效...
2019-09-19 18:47:00
91
转载 MySQL索引
一、索引概念和分类对数据库表中的一列或者多列的值进行排序的一种结构，旨在提高数据的查询效率。1.普通索引不需要添加任何限制条件，可以创建在任何数据类型中，由字段本身的完整性约束决定。2.唯一索引使用unique参数进行设置，该值必须是唯一的。主键是一种特殊的唯一索引。3.全文索引使用fulltext参数进行设置，只能创建在char，varchar或者text类...
2019-09-18 23:42:00
128
转载 Spark程序设计
一、Spark编程模型Spark常规步骤：创建SparkContext对象：连接集群，提供创建RDD和广播变量等接口输入数据：从Hadoop等外部数据源或Scala数据集创建RDD创建RDD-Scala集合/本地文件并行度3，创建3个partitionHDFS文件被切分成block分布在多个节点上，通过...
2019-09-18 17:47:00
174
转载 Java高并发网络编程(五)Netty应用
推送系统一、系统设计二、拆包和粘包粘包、拆包表现形式现在假设客户端向服务端连续发送了两个数据包，用packet1和packet2来表示，那么服务端收到的数据可以分为三种，现列举如下：第一种情况，接收端正常收到两个数据包，即没有发生拆包和粘包的现象，此种情况不在本文的讨论范围内。第二种情况，接收端只收到一个数据包，由...
2019-09-16 18:09:00
133
转载 Java高并发网络编程(四)Netty
在网络应用开发的过程中，直接使用JDK提供的NIO的API，比较繁琐，而且想要进行性能提升，还需要结合多线程技术。由于网络编程本身的复杂性，以及JDK API开发的使用难度较高，所以在开源社区中，涌现出来了很多对JDK NIO进行封装、增强的网络编程框架，比如Netty、Mina等。一、Netty简介https://netty.io/官网Netty是一个高性能、高...
2019-09-16 15:48:00
157
转载 Java高并发网络编程(三)NIO
从Java 1.4开始，Java提供了新的非阻塞IO操作API，用意是替代Java IO和Java Networking相关的API。NIO中有三个核心组件：Buffer缓冲区Channel通道Selector选择器一、Buffer缓冲区缓冲区本质上是一个可以写入数据的内存块（类似数组），然后可以再次读取。此内存块包含在NIO Buffer对象中，该对象提...
2019-09-15 18:04:00
136
转载 Java高并发网络编程(二)BIO
一、阻塞服务器端public class BIOServer { public static void main(String[] args) throws Exception { ServerSocket sc = new ServerSocket(9093); System.out.println("服务器启动成功！")...
2019-09-15 13:08:00
126
转载 Java高并发网络编程(一)
一、OSI网络七层模型因特网是一个极为复杂的网络，分层有助于我们对网络的理解 。分层也是一种标准，为了使不同厂商的计算机能够互相通信，以便在更大范围内建立计算机网络，有必要建立一个国际范围的网络体系结构标准。ISO组织制定了OSI网络七层模型应用层表示层会话层传输层网络层...
2019-09-15 10:16:00
260
转载 数据结构(六)图
术语实现算法一、概述存在对应关系就连边，邻接关系 顶点与顶点之间的关系参与定义邻接关系的每个顶点，与这个邻接关系的关系称作关联关系 顶点与相关的某条边的关系本章忽略下面这种边无向图/有向图所有边均无方向的图，即无向图undigrapy反之，有向图digraph中均为有向边directed ed...
2019-09-14 16:31:00
152
转载 【转载】大数据面试知识图谱
来源：大数据技术与架构 公众号作者：机智的王知先场景描述：大数据开发岗位技能树，学习和复习总纲。关键词：面试 大数据 大纲正所谓，无招胜有招。愿读到这篇文章的技术人早日明白并且脱离技术本身，早登彼岸。一切技术最终只是雕虫小技。大纲本系列主题是大数据开发面试指南，旨在为大家提供一个大数据学习的基本路线，完善数据开发的技术栈，以及我们面试一个大...
2019-09-14 10:06:00
255
转载 数据结构(四)二叉树
一、树Vector和List都有明显的弱点，都无法兼顾动态和静态操作的高效性。Tree可以认为将Vector和List的优点结合了起来，可以认为是列表的列表List<List>，半线性结构。应用层次关系的表示从数学上看，树是一类特殊的图，联通无环图。树由一组顶点（vertex）以及连接于期间的若干条边（edge）组成。在计算机科学中...
2019-09-13 21:38:00
231
转载 Scala（一）基础
OOP 面向对象编程 AOP 面向切面编程 FP 函数式编程 编程语言都要定义变量，一些代码是用来注释的，变量和变量之间有一些关系，要做一些运算，运算离不开流程控制，进行运算的数据往往来自数据结构，最基本的是数组。所有编程语言的需要：变量注释运算符流程控制数组编码规范：命名、换行、缩进、分号 变量在java中定义变量，必须要使用数据类型来声明。Sc...
2019-09-09 21:33:00
193
转载 Java虚拟机(一)
一、Java发展历程Java之父，James Gosling博士。二、JVM初体验内存溢出场景模拟-XX:+HeapDumpOnOutOfMemoryError -Xms20m -Xmx20m内存异常的错误java.lang.OutOfMemoryError: Java heap spac...
2019-09-09 19:11:00
90
转载 【JavaWeb项目】一个众筹网站的开发（九）邮件开发
Java官方支持邮件开发，Javax-mailjdk中默认没有，需要另外下载apache的基于Javax-mail开发了commons-mail，更加简单高效，推荐使用一、电子邮件接收和发送协议二、Apache-James邮件服务器1.自己搭建1）将压缩包解压到非...
2019-09-09 00:41:00
686
转载 【JavaWeb项目】一个众筹网站的开发（八）后台页面详细设置
一、user.jsp改造删除引入菜单抽取导航栏 nav-bar.jsp，删除引入导航栏删除引入main.jsp的到好烂数据库里添加url报错，url不对没有/url正确action="${ctp}/permission/user/login"<a href="...
2019-09-08 21:44:00
334
转载 【JavaWeb项目】一个众筹网站的开发（七）后台用户菜单
mvn命令不能运行：jar-war-pom之间是可以直接写，优先找这个工程，而不是仓库的位置pom-pom子父关系，需要去仓库中找，我们需要使用<relativePath>../project-parent/pom.xml</relativePath>在当前的子pom中，指定一下父pom文件在哪里，就不会优先去仓库中找<parent&...
2019-09-07 07:29:00
194
转载 【JavaWeb项目】一个众筹网站的开发（六）后台用户权限控制
登陆成功进入控制面板后左侧的菜单是共同的元素，抽取出来做静态包含要求必须是按照不同的用户得到不同的菜单用户做了权限限制，哪个用户能操作哪些内容（链接、按钮、内容）一、RBAC权限模型权限管理是大部分软件系统都会涉及的，而且权限管理的需求本质往往是一样的，不同的角色拥有不同的权限，只要你充当了某个角色，你就拥有了相对应的功能。RBAC（Rol...
2019-09-06 16:50:00
256
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人