- 博客(31)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 数据挖掘算法-决策树
一、从LR到决策树LR模型是利用线性回归的预测值，通过sigmoid映射为概率，来对数据做预测，有非常友好的数据预处理特性，工业界应用很丰富。决策树的处理方式：二、分类树决策树学习的算法通常是一个递归地选择最优特征，并根据该特征对训练数据进行分割，使得各个子数据集有一个最好的分类的过程。这一过程对应着对特征空间的划分，也对应着决策树的构建。1） 开始：构建根节点，将所有...
2019-03-26 18:59:02
2256
转载 数据挖掘建模-聚类分析
1.聚类分析概述聚类分析是一种定量方法，从数据分析的角度看，它是对多个样本进行定量分析的多元统计分析方法，可以分为两种：对样本进行分类称为Q型聚类分析对指标进行分类称为R型聚类分析从数据挖掘的角度看，又可以大致分为四种：划分聚类层次聚类基于密度的聚类基于网格的聚类本篇文章将从数据挖掘的角度来揽述，但也会借鉴数学建模的部分思想。无论是从那个角度看，其基本原则都是：希望族（...
2019-03-23 12:39:44
897
原创 关于大数据的一点感想
前一段时间学习了传智播客大数据课程，觉得掌握的不太牢靠以后还要再重复的看看。我想简单的总结一下课程吧！！首先大数据课程要有JAVAEE的基础和LINUX基本功。整个课程有以下几点：linux基础篇：包括liunx安装软件，网络设置、vim编辑器、免密登陆、shell基础。 java高级基础：反射，高并发，RPC，JVM，netty zookeeper：存储和监听特性。 Hadoop基...
2019-03-23 10:01:00
1991
转载 高并发与高可用实战（五）Nginx+Tomcat动静分离
动态页面与静态页面区别静态资源： 当用户多次访问这个资源，资源的源代码永远不会改变的资源。动态资源：当用户多次访问这个资源，资源的源代码可能会发送改变。什么是动静分离动静分离是让动态网站里的动态网页根据一定规则把不变的资源和经常变的资源区分开来，动静资源做好了拆分以后，我们就可以根据静态资源的特点将其做缓存操作，这就是网站静态化处理的核心思路动静分离简单的概括是：动...
2019-03-21 20:53:39
279
转载 高并发与高可用实战（四）lvs+keepalived+nginx
lvs+keepalived+nginx实现高性能负载均衡集群LVS作用LVS是一个开源的软件，可以实现传输层四层负载均衡。LVS是Linux Virtual Server的缩写，意思是Linux虚拟服务器。目前有三种IP负载均衡技术（VS/NAT、VS/TUN和VS/DR）；八种调度算法（rr,wrr,lc,wlc,lblc,lblcr,dh,sh）。Keepalived作用LV...
2019-03-21 20:49:01
442
转载 高并发与高可用实战（三）Nginx高级
Http动态负载均衡什么是动态负载均衡传统的负载均衡，如果Upstream参数发生变化，每次都需要重新加载nginx.conf文件,因此扩展性不是很高，所以我们可以采用动态负载均衡，实现Upstream可配置化、动态化，无需人工重新加载nginx.conf。这类似分布式的配置中心动态负载均衡实现方案Consul+Consul-template每次发现配置更改...
2019-03-21 20:45:05
167
转载 高并发与高可用实战（二）Nginx实战
环境准备CentOS7 7.0 64位 以上+一台外网服务器+一个域名+CDN内容分发电脑配置 16g以上内存CentOS7 关闭防火墙 //临时关闭 systemctl stop firewalld //禁止开机启动 systemctl disable firewalld Removed symlink /etc/systemd/system...
2019-03-21 20:39:46
172
原创 大数据基础-Hadoop RPC框架
什么是RPC RPC（Remote Procedure Call Protocol）——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。...
2019-03-14 12:00:49
216
转载 zookeeper分布式锁
什么是ZookeeperZookeeper是一个分布式开源框架，提供了协调分布式应用的基本服务，它向外部应用暴露一组通用服务——分布式同步（Distributed Synchronization）、命名服务（Naming Service）、集群维护（Group Maintenance）等，简化分布式应用协调及其管理的难度，提供高性能的分布式服务。ZooKeeper本身可以以单机模式安装运行，不...
2019-03-13 20:49:05
139
转载 缓存
为什么要使用缓存缓存的分类客户端缓存页面缓存浏览器缓存App客户端缓存网络缓存代理缓存CDN缓存服务器缓存数据库缓存平台缓存级缓存缓存最终的目的是为减轻服务端压力，减少网络传输请求基于Map集合实现本地缓存定义Map缓存工具类 @Component public class MapEhcaC...
2019-03-13 20:42:25
155
转载 高并发与高可用实战（一）基础
DNS域名解析整个过程大体描述如下，其中前两个步骤是在本机完成的，后8个步骤涉及到真正的域名解析服务器：1、浏览器会检查缓存中有没有这个域名对应的解析过的IP地址，如果缓存中有，这个解析过程就结束。浏览器缓存域名也是有限制的，不仅浏览器缓存大小有限制，而且缓存的时间也有限制，通常情况下为几分钟到几小时不等，域名被缓存的时间限制可以通过TTL属性来设置。这个缓存时间太长和太短都不太好，如果时间太...
2019-03-13 20:33:42
166
转载 互联网API开放平台安全设计（一）--Web安全漏洞
什么是XSS攻击手段XSS攻击使用Javascript脚本注入进行攻击例如在提交表单后，展示到另一个页面，可能会受到XSS脚本注入，读取本地cookie远程发送给黑客服务器端。<script>alert('sss')</script><script>window.location.href='http://www.itmayiedu.com';...
2019-03-13 20:22:04
922
翻译 two-phase termination模式-- 先收拾房间再睡觉
定义：分两段终止。她是一种先执行完终止处理再终止线程的模式。引例：类的一览表 名字 说明 countupthread 表示技术的线程的类 main 测试行为的类 public class CountupThread extends Thread { // 计数器的值 private long counter = 0; //...
2019-03-10 14:15:01
114
翻译 Future模式 --先给你提货带
定义：获取Future角色的线程会在稍后使用Future角色来获得运行的结果。引例：类的一览表 名字 说明 main 向host发出请求并获取数据 data 表示访问数据方法的接口。 host 向请求返回futuredata实例的类 futuredata 表示提货带类 realdata 表示真实数据 public clas...
2019-03-10 14:08:23
142
翻译 Worker Thread模式--工作没来就一直等，工作来了就干活
定义：Worker Thread模式也叫背景模式或者线程池模式，工作线程逐个取回并处理，在所有工作完全完成后，线程等待新的工作到来。引例：类的一览表 名字 说明 main 测试行为类 clientthread 表示发出工作的类 request 表示工作请求的类 channel 接受工作并将工作请求交给工人线程 workerthread...
2019-03-10 13:59:13
391
翻译 Thread-Per-Message模式 这项工作交给你
定义：在Thread-Per-Message模式中，消息的委托者和执行者是不同线程的，消息的委托者把消息的交给执行者去执行。引例类的一览表 名字 说明 mian 向host发送 字符显示请求的类 host 针对请求创建的类 helper 提供字符显示功能的被动类 public class Main { public static vo...
2019-03-10 13:47:28
132
翻译 Read-Write Lock模式 --大家一起读可以，读的时候不要写
定义：线程执行读取操作时，实例的状态不会发生改变，所以多个线程可以同时读取。线程执行写取操作时，实例的状态可能会发生改变，所以多个线程不可以同时写入。引例类的一览表 名字 说明 main 测试行为的类 data 可以读写的类 writerthread 写入线程 readthread 读取线程 readwritelock 提供读写...
2019-03-10 13:32:43
307
转载 大数据基础-HBASE
hbase简介 什么是hbaseHBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。HBASE的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据。HBASE是Google Bigtable的开源实现，但是也有很多不同之处。比如：Goo...
2019-03-09 18:21:42
101
转载 大数据基础-HIVE辅助系统
前言在一个完整的大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示：1. 日志采集框架Flume1.1 Flume介绍1.1.1 概述Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 ...
2019-03-09 17:57:11
941
转载 大数据基础-HIVE
Hive基本概念Hive简介 什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。为什么使用Hive直接使用hadoop所面临的问题人员学习成本太高项目周期要求太短MapReduce实现复杂查询逻辑开发难度太大为什么要使用Hive操作接口采用类SQL语法，提供快速开发的能力。...
2019-03-09 16:48:37
219
转载 大数据基础-Hadoop MP开发
1. MAPREDUCE原理篇（1）Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架；Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上；1.1 为什么要MAPREDUCE（1）海量数据在单机上处理因为硬件资源限制，无法胜任（2）而一旦将...
2019-03-09 16:32:53
380
转载 大数据基础-Hadoop HDFS开发
******HDFS应用开发篇******HDFS的java操作hdfs在生产应用中主要是客户端的开发，其核心步骤是从hdfs提供的api中构造一个HDFS的访问客户端对象，然后通过该客户端对象操作（增删改查）HDFS上的文件搭建开发环境1、引入依赖<dependency> <groupId>org.apache.hadoop</gro...
2019-03-09 16:07:02
131
转载 大数据基础-Hadoop原理
hdfs的工作机制（工作机制的学习主要是为加深对分布式系统的理解，以及增强遇到各种问题时的分析解决能力，形成一定的集群运维能力）注：很多不是真正理解hadoop技术体系的人会常常觉得HDFS可用于网盘类应用，但实际并非如此。要想将技术准确用在恰当的地方，必须对技术有深刻的理解概述HDFS集群分为两大角色：NameNode、DataNode NameNode负责管理整个文件...
2019-03-09 15:49:40
1241
转载 大数据基础-Hadoop基础
什么是HADOOPHADOOP是apache旗下的一套开源软件平台 HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理 HADOOP的核心组件有 HDFS（分布式文件系统） YARN（运算资源调度系统） MAPREDUCE（分布式运算编程框架） 广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈分...
2019-03-09 15:41:52
380
原创 2019届华为软件精英挑战赛赛题为“智能世界•纵横”！思路
1. 背景信息l 道路交通是城市的核心要素之一。l 随着社会经济的发展，中国城市的车辆保有量已经越来越多，大都市慢慢变成了“堵”市。如何在出行时避免拥堵，是每一个人的目标。l 日常生活中，很多拥堵是由于车辆行驶路线规划失误，大批车辆集中选择主干道行驶导致通行效率下降。l 如果车辆都由调度中心统一规划调度路线，拥堵问题将得到大大缓解甚至彻底解决。l 实际上这一技术已经在工业领域如...
2019-03-09 00:00:10
3588
2
转载 深入理解JVM-类加载器
类加载的机制的层次结构每个编写的”.java”拓展名类文件都存储着需要执行的程序逻辑，这些”.java”文件经过Java编译器编译成拓展名为”.class”的文件，”.class”文件中保存着Java代码经转换后的虚拟机指令，当需要使用某个类时，虚拟机将会加载它的”.class”文件，并创建对应的class对象，将class文件加载到虚拟机的内存，这个过程称为类加载，这里我们需要了解一下类加载...
2019-03-02 16:27:07
107
转载 深入理解JVM-字节码技术
字节码技术字节码技术应用场景AOP技术、Lombok去除重复代码插件、动态修改class文件等字节技术优势 Java字节码增强指的是在Java字节码生成之后，对其进行修改，增强其功能，这种方式相当于对应用程序的二进制文件进行修改。Java字节码增强主要是为了减少冗余代码，提高性能等。实现字节码增强的主要步骤为：1、修改字节码 在内存中获取到原来...
2019-03-02 16:20:59
298
转载 深入理解JVM-垃圾收集器&&性能工具
JVM参数配置JVM提供了诸多的参数进行JVM各个方面内存大小的设置，为Java应用进行优化提供了诸多的工具，本文将会详细分析各个参数的功能与使用。常见参数配置-XX:+PrintGC 每次触发GC的时候打印相关日志-XX:+UseSerialGC 串行回收-XX:+PrintGCDetails 更详细的GC日志-Xms 堆...
2019-03-02 16:07:27
80
转载 深入理解JVM-GC 回收算法
如何判断对象是否存活引用计数法概念引用计数法就是如果一个对象没有被任何引用指向，则可视之为垃圾。这种方法的缺点就是不能检测到环的存在。首先需要声明，至少主流的Java虚拟机里面都没有选用引用计数算法来管理内存。什么是引用计数算法：给对象中添加一个引用计数器，每当有一个地方引用它时，计数器值加１；当引用失效时，计数器值减１.任何时刻计数器值为０的对象就是不可能再被使用的。那为什么...
2019-03-02 15:25:37
128
转载 thread-specific stroage模式 一个线程一个储物柜
定义：thread-specific stroage模式 是一种即使只有一个入口，也会在内部为每个线程分配特定的空间的模式引例：不用thread-specific stroage模式 的实例public class Log { private static PrintWriter writer = null; // 初始化writer字段 stati...
2019-03-02 14:27:04
110
翻译 Producer-Consumer--生产者消费者
定义：Producer-Consumer--生产者消费者模式：生产者将数据交给消费者。引例：类的一览表 名字 说明 main 测试行为类 makethread 厨师类 eaterthread 客人类 table 桌子类 /* * * ProducerConsumer中的角色 * 1.producer * ...
2019-03-02 14:12:39
407
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人