字母的艺术-CSDN博客

原创 K最近邻分类算法原理及实例分析

目录概述原理要点实例1、概述K最近邻（k-Nearest Neighbor，KNN），指导思想是“近朱者赤，近墨者黑”，由你的邻居来推断出你的类别，KNN分类算法是最简单的机器学习算法。2、原理从训练集中找到和新数据最接近的k条记录，然后根据多数类来决定新数据类别，本质上，KNN是使用距离来计算相似度。算法涉及3个主要因素：训练数据集；距离或相似度的计算衡量；k的...

2018-12-14 11:26:48 5151

原创朴素贝叶斯分类算法原理

目录概述原理要点1、概述朴素贝叶斯分类算法是贝叶斯分类算法中最简单的一种，贝叶斯分类算法以样本可能属于某类的概率来作为分类依据。贝叶斯分类算法是一大类分类算法的总称。2、原理如果一个事物在一些属性条件发生的情况下，事物属于A的概率大于属于B的概率，则判定事物属于A。朴素贝叶斯分类器　　朴素贝叶斯分类器的表示形式：　　当特征为为x时，计算所有类别的条件概率，...

2018-12-14 09:23:02 5024

原创 MR中自定义bean作为key，输出某组排序中最大值。

目录需求：MR中自定义bean作为key，输出某组排序中最大值。方案：重写MR中groupingcomparator方法1.需求：MR中自定义bean作为key，输出某组排序中最大值。场景：求出多个订单中，金额最大的商品价格。2.方案：重写MR中 groupingcomparator 方法定义排序：orderBean 类，重写compareto方法，订单相同...

2018-12-13 11:51:52 558 1

原创关键路径转换分析---漏斗模型

目录需求方案总结1.需求在一条指定的业务流程中，各个步骤的完成人数及相对上一个步骤的百分比。2.方案：使用漏斗模型查询每一个步骤的总访问人数 create table dw_route_numbs as select 'step1' as step,count(distinct remote_addr) as num...

2018-12-12 15:02:24 774

原创 centos6.4 使用yum 软件安装mysql 5.6 详细教程

目录yum 安装 mysql 安装，远程登录，设置utf-8编码1. yum 安装centos 中安装yum 软件请参考文章： https://blog.csdn.net/py_tamir/article/details/809621822.mysql 安装检查系统是否安装其他版本的MYSQL数据# yum list installed | grep mysql...

2018-12-09 17:46:29 297

原创解决 Hadoop 中从节点不能远程登录主节点的MySQL数据库.

目录：Host 'shizhan04' is not allowed to connect to this MySQL server问题，及解决方案 Access denied for user 'root'@'localhost' (using password: YES) 问题，及解决方案1.问题： "Host 'shizhan04' is not allowed to conne...

2018-12-09 17:15:58 752

原创数据迁移工具 sqoop 安装部署及实战

目录概述工作机制安装部署实战1.概述sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；导出数据：从Hadoop的文件系统中导出数据到关系数据库。2.工作机制将导入或导出命令翻译成mapreduce程序来实现，在...

2018-12-09 10:38:03 246

原创工作流调度器 azkaban 安装部署

目录准备工作安装 azkaban web服务器安装 azkaban executor 安装配置SSL 配置文件启动备注 1.准备工作Azkaban Web服务器 azkaban-web-server-2.5.0.tar.gz Azkaban执行服务器 azkaban-executor-server-2.5.0.tar.gz MySQL目前azkab...

2018-12-08 21:10:39 250

转载 hadoop 之 flume 日志采集框架

目录概述运行机制简单结构复杂结构1、概述 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中，一般的采集需求，通过对flume的简单配置即可实现。Flume针对特殊场景也具备良好的自定义扩展能力，...

2018-12-06 08:59:15 286

原创 Centos 中 PING 外部链接，出现 ping： unknown host XXXXX 的解决方案

目录问题方案1. 问题：在终端ping 外部链接时，出现 “ ping： unknown host XXXXX” 问题？？？2. 方案：步骤一：vi /etc/resolv.conf 添加nameserver 192.168.2.2nameserver 8.8.8.8步骤二： vi /etc/sysconfig/network-scripts/ifcfg...

2018-12-05 22:27:59 524

原创 Hive 中各种Join 操作及实例

目录：数据建表操作正文：1、数据a:+-------+---------+--+| a.id | a.name |+-------+---------+--+| 1 | a || 2 | b || 3 | c || 4 | d || 7 | y || 8 ...

2018-12-03 22:00:20 527

原创 Hadoop 之 MapReduce

MapReduce 过程细节分析1/ map阶段结果<key, value>传递给reduce阶段时, 默认是按照key中ASCII 排序的，若key 被构造成bean，则需要制定bean的compareTo方法，此时bean对应的class需要实现writableComparable接口。 2/ reduce阶段，将map阶段结果<key, value>进行...

2018-11-24 23:06:44 101

原创 Hadoop 之 HDFS原理

HDFS原理概述HDFS集群分为两大角色：NameNode、DataNode (Secondary Namenode) NameNode负责管理整个文件系统的元数据 DataNode 负责管理用户的文件数据块文件会按照固定的大小（blocksize）切成若干块后分布式存储在若干台datanode上每一个文件块可以有多个副本，并存放在不同的datanode上 Datanode会定...

2018-11-20 23:24:55 148

原创 hadoop 环境搭建之SSH免登密码登陆

目录： ssh 免登操作原理 ssh 免登操作步骤ssh 免登操作原理：1/ A 使用ssh 生成公钥和私钥，之后A请求登陆 B,2/ B 查看自己的授权列表authorized_keys, 是否含有A的公钥3/ B 用A的公钥随机加密一个字符串，并将该字符串发送给A 4/ A 接收加密的字符串，并用自己的私钥解密5/ A 将解密结果发送给 B...

2018-11-13 14:46:33 141

原创 MapReduce 程序的几种提交运行模式

目录本地模式运行集群模式运行本地模型运行1/在windows的eclipse里面直接运行main方法，就会将job提交给本地执行器localjobrunner执行 ----输入输出数据可以放在本地路径下（c:/wc/srcdata/） ----输入输出数据也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdata)...

2018-11-08 21:55:05 236

原创 Web攻击手段

1. XSS [ cross site scripting ]跨站脚本攻击【防】对用户输入的数据进行HTML转义处理； 2. CSRF [cross site request forgery]跨站请求伪造【防】将cookie 设置为httponly；添加token ；通过referer 识别 3. SQL 注入攻击【防】使用预编译语句 prepared s...

2018-11-01 19:30:05 220

原创【分布式】一致性哈希 Distributed Hash Table 学习笔记

目录一致性哈希介绍一致性哈希原理一致性哈希应用1、一致性哈希介绍一致性哈希，英文：distributed hashtable，简称DHT, 是麻省理工提出的一种算法，该算法可以有效解决分布式存储结构下动态增加和删除节点带来的问题。2、一致性哈希原理我们把全量的缓存空间当做一个环形存储结构。环形空间总共分成2^32个缓存区，在Redis中则是把缓存key分配...

2018-09-20 19:00:25 2339 2

原创【深入理解Java 虚拟机】学习笔记一

目录运行时数据区域根索引算法垃圾回收算法垃圾收集器双亲委派模型 JDK命令行工具Jstack 和 JConsole1、运行时数据区域线程共享：方法区、堆线程私有：虚拟机栈、本地方法栈、程序计数器2、根索引算法Java 使用GC Roots 对象作为起点，从这些节点开始向下搜索，搜索所走过的路径为引用链，当一个对象到GC Roots 没有任何引用链则证明此...

2018-09-13 19:59:18 140

原创 Java- Reflect 反射学习总结

目录Class 类的使用动态加载类获取方法信息获取成员信息获取构造方法方法的反射泛型的本质学习总结1、Class 类的使用 Foo foo1 = new Foo();//foo1就表示出来了. //Foo这个类也是一个实例对象，Class类的实例对象,如何表示呢 //任何一...

2018-09-10 16:05:22 148

原创 Tomcat 7 相关参数优化说明及配置最佳案例

目录前言环境搭建目的服务器资源优化配置禁用AJP连接器前言基于Tomcat 7，通过调其内部参数，提高tomcat性能。0、环境搭建参考：在一台服务器上配置多个Tomcat 教程 https://blog.csdn.net/py_tamir/article/details/824909001、目的通过优化tomcat提高网站的并发能力。2、服务器...

2018-09-07 10:29:20 1260

转载【转】在一台服务器上配置多个Tomcat 教程

在一台服务器上配置多个Tomcat，主要就是要避免Tomcat服务器的端口冲突的问题。只需要修改CATALINA_HOME\conf\server.xml中的启动端口和连接端口就好了！下面我们把配置的详细过程写在下面，以供参考：（此例以配置三个Tomcat为例）1. 下载apache-tomcat-7.0.63，下载下来的文件为apache-tomcat-7.0.63.zip.2....

2018-09-07 08:56:24 196

1、Java 中atomic 类底层机制atomic类：AtomicInteger 等，其底层使用CAS机制，CAS 的底层实现时unsafe的compareAndSwapInt(this,valueOffset, expect, update)方法，其保证V , A, B 的原子性；CAS 属于乐观锁，而synchronized 属于悲观锁，CAS和synchronized 都是解决多线程下...

2018-09-05 22:06:18 351

原创细说Java 多线程之内存可见性

前言：讨论学习Java中的内存可见性、Java内存模型、指令重排序、as-if-serial语义等多线程中偏向底层的一些知识，以及synchronized和volatile实现内存可见性的原理和方法。1、可见性介绍可见性：一个线程对共用变量值的修改，能够及时地被其他线程看到。共享变量：如果一个变量在多个线程的工作内存中都存在副本，那么这个变量就是这个几个线程的共享变量。‘’Ja...

2018-09-04 15:58:45 230

原创电商概念 SPU 与 SKU

1、SPUSPU = Standard Product Unit （标准产品单位）SPU是商品信息聚合的最小单位，是一组可复用、易检索的标准化信息的集合，该集合描述了一个产品的特性。通俗点讲，属性值、特性相同的商品就可以称为一个SPU。例如：iphone7就是一个SPU，与商家，与颜色、款式、套餐都无关。2、SKUSKU=stock keeping unit(库存量单位)SK...

2018-08-27 14:48:22 411

原创 java 7/ 8 中 HashMap 及 concurrentHashMap

前言： HashMap 不支持并发操作，而concurrentHashMap 支持并发操作，本文简单介绍Java 7 、Java8 中HashMap 及 concurrentHashMap 底层实现。1、Java 7 中 HashMap底层：数组+单链表并发：不支持 2、Java 7 中 concurrentHashMap底层：数组+单链表并发：支...

2018-08-24 11:31:37 209

原创观察者模式（订阅发布模式）及实例Demo

1、观察者模式，又称订阅发布模式，其架构如下：2、实例demo——订阅天气，发布天气1>WeatherSubject 目标类 public class WeatherSubject { private List<Observer> observers = new ArrayList<Observer>(); ...

2018-08-23 22:54:05 1520

原创容器部署解决方案Docker

前言：Docker容器就是：一个镜像格式；一系列标准操作；一个执行环境。 1、容器技术容器则是直接运行在操作系统内核之上的用户空间。因此，容器虚拟化也被称为“操作系统级虚拟化”，容器技术可以让多个独立的用户空间运行在同一台宿主机上。由于“客居”于操作系统，容器只能运行与底层宿主机相同或者相似的操作系统。 2、容器与虚拟机比较（1）本质上的区别（2）使用上...

2018-08-15 21:59:47 2650

原创 EditPlus 远程连接 Linux 服务器使用教程

1、场景：倘若你对 Linux 中的 vim 命令不是很熟悉，那么使用 EditPlus 连接远程服务器，本地打开EditPlus像编辑‘’记事本“”般的修改 Linux 相关配置，岂不美滋滋，本文介绍使用教程！！！2、本机安装EditPlus，估计你已经安装了~3、配置步骤如下：（1）进入FTP 设置（2）配置远程Linux信息（3）进入高级选项（4）远程登...

2018-08-13 12:54:42 2271 2

原创开源数据库中间件- MyCat 学习笔记

1、简介 MyCat 曾是阿里开源产品Cobar，Cobar核心功能和优势是 MySQL 数据库分片。Mycat 是基于 cobar 演变而来，对 cobar 的代码进行了彻底的重构，使用 NIO 重构了网络模块，并且优化了 Buffer 内核，增强了聚合，Join 等基本特性，同时兼容绝大多数数据库成为通用的数据库中间件。MyCAT是一个新颖的数据库中间件产品支持mysql集群，...

2018-08-12 22:48:32 753

原创任务调度 SpringTask 及入门小Demo

1、任务调度在某些应用中，会定制一些计划任务，即：在某个时间点做某些事情，核心是以时间点为关注点，在一个特定时间点，系统执行指定的一个操作。常用的任务调度框架有Quartz 、SpringTask等，本文主要介绍SpringTask及使用。2、核心语法@Scheduled(cron="* * * * * ?")在执行操作函数上添加以上标签，并且使用cron表达式。其中...

2018-08-09 21:19:26 725

原创分布式ID使用场景及生成策略分析

1、分布式ID使用场景互联网应用中，某个表可能要占用很大的物理存储空间，为了解决该问题，使用数据库分片技术。将一个数据库进行拆分，通过数据库中间件连接。如果数据库中该表选用ID自增策略，则可能产生重复的ID，此时应该使用分布式ID生成策略来生成ID。 2、分布式ID生成策略方案一：UUID 可以生成32位、无序的数字。缺点：太长，没办法排序方案二：R...

2018-08-06 19:02:49 2952

原创解决JS 跨域调用解决方案之二: CORS

之前文章使用JSONP 技术来解决，本文使用CORS技术来解决js跨域调用问题。1、js跨域请求：只要协议、域名、端口有任何一个不同，都被当作是不同的域。2、跨域调用测试：前端控制台出现以下信息，表示不能跨域访问： No 'Access-Control-Allow-Origin' header is present on the requested resour...

2018-08-05 23:01:58 13461

原创 SpringBoot 学习及入门小demo

1、概述SpringBoot 是Spring 生态系统中提供的一种约定优于配置、简约、快速构建的框架。2、原理1> 核心标签 SpringBootApplication@SpringBootApplication其实就是以下三个注解的总和：@Configuration：用于定义一个配置类@EnableAutoConfiguration ：Spring Boot会自动根...

2018-08-05 09:27:57 256

原创消息中间件 activeMQ 及 JMS 学习

1、消息中间件消息中间件利用高效可靠的消息传递机制进行平台无关的数据交流，并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型，它可以在分布式环境下扩展进程间的通信。对于消息中间件，常见的角色大致也就有Producer（生产者）、Consumer（消费者）。常见的消息中间件产品:（1）ActiveMQActiveMQ 是Apache出品，最流行的，能...

2018-08-02 06:03:19 221

原创网页静态化技术 Freemaker 学习及入门小 demo

1、简介网页静态化解决方案在实际开发中运用比较多，例如新闻网站，门户网站中的新闻频道，或者是文章类的频道。对于电商网站的商品详细页来说，至少几百万个商品，每个商品又有大量的信息，这样的情况同样也适用于使用网页静态化来解决。网页静态化技术和缓存技术的共同点都是为了减轻数据库的访问压力，但是具体的应用场景不同，缓存比较适合小规模的数据，而网页静态化比较适合大规模且相...

2018-07-30 22:14:48 438

原创 Spring Data Redis 框架入门学习及小Demo练习

1、简介 Spring-data-redis是spring大家族的一部分，提供了在spring应用中通过简单的配置访问redis服务，对reids底层开发包(Jedis, JRedis, and RJC)进行了高度封装，RedisTemplate提供了redis各种操作、异常处理及序列化，支持发布订阅，并对spring 3.1 cache进行了实现。2、功能 ...

2018-07-25 23:31:05 205

原创分布式文件服务器 FastDFS 入门学习

1、简介 FastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用 FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。FastDFS 架构包括 Tracker server 和 Storage server。客户端请求 Tracker se...

2018-07-21 22:41:50 581

原创 Spring security 框架入门学习

1、简介Spring Security是一个能够为基于Spring的企业应用系统提供声明式的安全访问控制解决方案的安全框架。它提供了一组可以在Spring应用上下文中配置的Bean，充分利用了Spring IoC，DI（控制反转Inversion of Control ,DI:Dependency Injection 依赖注入）和AOP（面向切面编程）功能，为应用系统提供声明式的安全访问控制功...

2018-07-21 07:35:38 494

原创前端框架之AngularJS 四大特性分析

1.MVC模式Angular遵循软件工程的MVC模式,并鼓励展现，数据，和逻辑组件之间的松耦合.通过依赖注入（dependency injection），Angular为客户端的Web应用带来了传统服务端的服务，例如独立于视图的控制。因此，后端减少了许多负担，产生了更轻的Web应用。model：数据，其实就是angular变量($scope.XX); view: 数据的呈现,Ht...

2018-07-19 19:37:09 492

原创分布式服务框架之 Dubbox 学习

1、简介 Dubbox 是一个分布式服务框架，其前身是阿里巴巴开源项目Dubbo ，被国内电商及互联网项目中使用，后期阿里巴巴停止了该项目的维护，当当网便在Dubbo基础上进行优化，并继续维护，为了与原有的Dubbo区分，故将其命名为Dubbox。Dubbox 致力于提供高性能和透明化的RPC远程服务调用方案，以及SOA服务治理方案。简单的说，dubbox就是个服务框架，如果没有分...

2018-07-18 19:02:43 180

django-1.8tar.gz

空空如也