Peter_Changyb的博客

原创 机器学习的数据训练和预测过程分析

如何在海量的数据中识别出4G 客户？并进而认知 4G 客户的特征特点，为相关部门对这部分客户进行重点宣传、发送 E-mail 提供决策支持，以提升预期的宣传效果？本案例的挖掘目标是： 构建客户识别分类模型，并进行特征分析...

原创 机器学习之分类和回归区别阐述

很多人分不清楚分类和回归，我来讲一下，我们经常会碰到这样的问题：1、如何将信用卡申请人分为低、中、高风险群？2、如何预测哪些顾客在未来半年内会取消该公司服务，哪些电话用户会申请增值服务？3、如何预测具有某些特征的顾客是否会购买一台新的计算机？4、如何预测病人应当接受三种具体治疗方案的哪一种？5、如何预测一位顾客在一次销售期间将花多少钱？6、如何预测银行可以安全地贷给贷款人的...

原创 智慧城市的解决方案思考

智慧社区：智慧城市：

原创 主流物联网平台的架构设计思考

物联网平台的总体架构物联网平台的技术架构用户级物联网平台的解决方案：车联网平台的主流解决方案：

原创 主流Paas云平台架构设计思想

提供简便的海量连接、云端存储、消息分发和大数据分析等优质服务，从而降低物联网企业和个人（创客）的研发、运营和运维成本，使物联网企业和个人（创客）更加专注于应用。高并发可用支撑高并发应用及终端接入，保证可靠服务 提供高达99.9%的SLA服务可用性多协议接入支持多种行业及主流标准协议的设备接入，如HTTP、JT\T808以及TCP透传等 提供多种语言开发SDK，帮助终端快速接入平台...

原创 “不战而屈人之兵”思想对项目架构设计的战略指导

“不战而屈人之兵”作为战略指导的思想境界，把全胜作为战争的最高目标，以最小代价达成战争目的。对项目而言，我们要考虑项目的应用场景，用户规模和数据处理能力，以及项目未来3年的目标等。在应用场景的设计中，会考虑业务和技术的结合度量，业务的规模和流程设计。技术的选型没有涉及到。用户规模和数据处理能力，会考虑技术选型和架构设计。具体要考虑架构设计。架构中重要的核心指标：性能、可用性、伸缩性、扩展性的等...

原创 设计模式的顶层设计思想分析

我从通俗角度讲一下六大原则：         一是开闭原则（Open Close Principle），强调对扩展开放，对修改关闭。应用场景是当我们的代码需要不断修改时，不能去修改原有的代码，而是抽象出父类接口，修改子类即可。    二是里氏代换原则（Liskov Substitution Principle），强调是父类和子类的关系。应用场景是在定义时使用父类对象，而在运行时再关联子类类...

原创 分布式架构演进分析

分布式和集群的关系分布式：一个业务分拆多个子业务，部署在不同的服务器上集群：同一个业务，部署在多个服务器上分布式架构的里程碑    大型主机的出现。凭借着大型机超强的计算和I/O处理能力、稳定性、安全性等，在很长一段时间内，大型机引领了计算机行业及商业计算领域的发展。而集中式的计算机系统架构也成为了主流。随着计算机的发展，这种架构越来越难以适应人们的需求，比如说由于大型主机的复杂性...

原创 医疗大数据分析的几个重点方向

医疗大数据平台方案采用传统的关系型数据库与大数据平台的混合设计，整体基础数据平台构成包括联机事务库，数据整合交换，大数据平台，数据集市，探索分析，数据驱动应用这六个部分：实时事务库联机事务库是企业已构建的在线生产业务系统，例如交易系统、网站、ERP、仓储管理、生产工艺流程管理等所采用的数据库，以及互联网业务扩展将要构建的系统所采用的数据库。联机事务库主要面对的是实时事务处理，目前主要由商业或...

原创 数据从HDFS文件迁移到Hive

创建用户表usertbl在hive中，代码实现如下：create table usertbl (id int , deviceID String, patientID String, deviceType String, appType String, deviceUseFlag String, company String, pname String, email String, teamNa...

原创 Hbase插入数据的模块化操作案例

private void insertHbaseDBForSports(String dataType, String appType, String collectDate, List<Map<String, String>> dataValue, String phone, String deviceID) throws Exception { HQuer...

原创 Mongodb的核心数据操作MongodbBaseDao

public abstract class MongodbBaseDao<T> { Logger log = Logger.getLogger(this.getClass()); // spring mongodb 集成操作类 protected MongoTemplate mongoTemplate; // 链接本地数据库并创建数据表 public void Crea...

原创 JdbcDaoImpl数据操作实现和案例

JdbcDaoImpl调用jdbcTemplate实现了高效率的数据操作，目前的主流C3P0和Mybatis都是封装了这个类。package com.cloud.storage.daoImpl;import java.sql.Connection;import java.sql.PreparedStatement;import java.sql.ResultSet;import j...

原创 Spring MVC执行的流程

对开发Spring MVC应用的过程进行总结。一、Spring MVC应用的开发步骤   下面简单介绍Spring MVC应用开发的步骤    1、在web.xml文件中定义前端控制器DispatcherServlet来拦截用户请求。由于Web应用是基于请求/相应架构的应用，所以不管哪个MVC  Web框架，都需要在web.xml中配置该框架的核心Servlet或Filter，这样...

原创 产品经理的七个主要职责分析

产品经理的七大职责分析：一：竞品调研主要目标：获取用户需求，通过对市场的竞争状况及市场力量的分析，发现创新与改进产品的潜在机会。主要方法有：a、确定目标群体与客户进行面对面的沟通；b、与一线的同事进行沟通（销售，开发，客服，业务，运营），了解他们对现在的产品的看法；c、通过行业文章资讯，使用竞争对手的产品分析竞争状况；d、分析自身资源与满足用户需求的匹配程度。通过这些去发现新产品的机会，并...

原创 Hadoop项目开发环境的硬件选型

原创 CAP理论在Nosql的应用分析

CAP定义：C（一致性）：所有的节点上的数据时刻保持同步 A（可用性）：每个请求都能接受到一个响应，无论响应成功或失败 P（分区容错）：系统应该能持续提供服务，即使系统内部有消息丢失（分区）高可用、数据一致是很多系统设计的目标，但是分区又是不可避免的事情：CA without P：如果不要求P（不允许分区），则C（强一致性）和A（可用性）是可以保证的。但其实分区不是你想不想的问题，而...

原创 Hbase的Region的三次定位分析

原创 HDFS的高可用原理分析

非常好HA的总结,具体如下

原创 灵活转发服务知识图谱

原创 高并发采集服务知识图谱

1.基于TCP/HTTP的知识图谱

原创 海量存储服务核心知识图谱

1.海量存储服务知识点 

原创 通用接收服务核心知识图谱

大数据采集知识点总结

原创 程序员面试的常见问题和考察动机分析

1. 你为什么应聘这个职位？主要想考察你对JD的要求是否理解，并能否驾驭。2. 你熟悉本公司常用的编程语言？最好说明自己学习语言的能力和经验。如果你对这种特定语言没有太多的经验，那就说实话，否则就算过了电话关，也过不了之后的coding关。但你也要告诉HR你自己会的语言，并表示有能力学习新的语言。3. 你介绍一下做过最满意的项目是什么？简明扼要。直接简洁地描述你参与过的项目和在...

原创 优秀员工的必备五大好习惯

优秀员工是一个公司或者企业必不可缺的重要人才，是推动事业发展的中坚力量。其实作为一名优秀的员工，除了智商、工作能力之外，一些良好的工作习惯会使他们更好地发挥潜能，在单位脱颖而出。快来看看以下这些优秀员工应具备的习惯，你有几个？1. 对工作的重要文件进行按时备份和提交做好文件分类；善用工具，保存文件。优秀的员工会更注重细节。当领导需要一份材料时，普通员工往往不知放到哪里，找也找不到，而优秀的...

原创 初识Scala

Scala与Java的关系是非常紧密的！！因为Scala是基于Java虚拟机，也就是JVM的一门编程语言。所有Scala的代码，都需要经过编译为字节码，然后交由Java虚拟机来运行。所以Scala和Java是可以无缝互操作的。Scala可以任意调用Java的代码。所以Scala与Java的关系是非常非常紧密的。从Scala官方网站下载，http://www.scala-lang.org...

原创 责任链模式之分级上报之案例实战

《设计模式》中给它的定义如下：使多个对象都有机会处理请求，从而避免请求的发送者和接收者之间的耦合关系。将这些对象连成一条链，并沿着这条链传递该请求，直到有一个对象处理它为止。从定义上可以看出，责任链模式的提出是为了“解耦”，以应变系统需求的变更和不明确性。下面是《设计模式》中给出的适用范围：1) 有多个的对象可以处理一个请求，哪个对象处理该请求运行时刻自动确定。2) 你想在不明确指定接收者的...

原创 迭代器模式之任务执行案例实战

迭代器（Iterator）模式，又叫做游标（Cursor）模式。GOF 给出的定义为：提供一种方法访问一个容器（container）对象中各个元素，而又不需暴露该对象的内部细节。从定义可见，迭代器模式是为容器而生。很明显，对容器对象的访问必然涉及到遍历算法。你可以一股脑的将遍历方法塞到容器对象中去；或者根本不去提供什么遍历算法，让使用容器的人自己去实现去吧。这两种情况好像都能够解决问题。然而在前一...

原创 观察者模式之命令下达案例实战

观察者（Observer）模式又名发布-订阅（Publish/Subscribe）模式。GOF 给观察者模式如下定义：定义对象间的一种一对多的依赖关系，当一个对象的状态发生改变时，所有依赖于它的对象都得到通知并被自动更新。在这里先讲一下面向对象设计的一个重要原则——单一职责原则。系统的每个对象应该将重点放在问题域中的离散抽象上。因此理想的情况下，一个对象只做一件事情。这样在开发中也就带来了诸多的...

原创 策略模式之支付案例实战

    策略模式（Strategy）属于对象行为型设计模式，主要是定义一系列的算法，把这些算法一个个封装成拥有共同接口的单独的类，并且使它们之间可以互换。策略模式使这些算法在客户端调用它们的时候能够互不影响地变化。这里的算法不要狭义的理解为数据结构中算法，可以理解为不同的业务处理方法。这种做法会带来什么样的好处呢？它将算法的使用和算法本身分离，即将变化的具体算法封装了起来，降低了代码的耦合度，...

原创 状态模式的住店案例实战

状态模式可以有效的替换充满在程序中的 if else 语句：将不同条件下的行为封装在一个类里面，再给这些类一个统一的父类来约束他们。来看一下状态模式的角色组成：1) 使用环境（Context）角色：客户程序是通过它来满足自己的需求。它定义了客户程序需要的接口；并且维护一个具体状态角色的实例，这个实例来决定当前的状态。2) 状态（State）角色：定义一个接口以封装与使用环境角色的一个特定状...

原创 Restful接口接收数据案例

1.构建工程2. 实现FileuploadRestful类，继承Spring框架中的MultiActionController类，实现多文件接收package com.cloud.controller;import java.io.FileOutputStream;import java.io.IOException;import java.io.InputStream;i...

原创 Mina上传文件的服务端实现

实现步骤：   1.建立一个无阻塞服务端socket 用nio        NioSocketAcceptor acceptor = new NioSocketAcceptor();   2.创建接收过滤器 也就是你要传送对象的类型        DefaultIoFilterChainBuilder chain = acceptor.getFilterChain();   3.设...

原创 Mina发送文件的客户端实现

实现步骤：   1.建立一个无阻塞服务端socket 用nio   2.创建接收过滤器 也就是你要传送对象的类型   3.设定 对象传输工厂   4.设定传输最大值   5.设定服务端消息处理器, 将线程放入线程池 当连接很多时候可以通过线程池处理              NioSocketConnector connector = new NioSocketConnector...

原创 TensorFlow之张量思维训练

1.构建基本数据流图2.修改为张量描述图import tensorflow as tfa= tf.constants([5,3],name="imput_a")b= tf.reduce_prod(a,,name="prod_b")c= tf.reduce_sum(a,name="sum_c")d= tf.add(c,d,name="add_d")数学实例 ...

原创 初识TensorFlow机器学习框架

    TensorFlow 是一个开源机器学习框架，具有快速、灵活并适合产品级大规模应用等特点，让每个开发者和研究者都能方便地使用人工智能来解决多样化的挑战。TensorFlow能够让你直接解决各种机器学习任务。目标就是在一般情况下，无论你遇到什么问题，TensorFlow都可以在一定程度上提供API的支持。问题：判断一张图片中包含的是猫还是狗。这用传统的编程方法很难甚至不可能解决。因为...

原创 Hadoop的shuffle原理和过程图解

 wordcount为例详细阐述shuffle的实现过程1. 对HDFS输入的文件进行切割为KV形式2.在mapper方法中执行，分割单词为KV形式。3.shuffle在Map端的三个操作：partition（多节点的相同K合并），sort（键值对哈希码排序)，combine(单节点上相同K合并)4.shuffle在Reduce端的两个个操作：拉取partition...

原创 Spark和Hadoop的架构区别解读

总的来说，Spark采用更先进的架构，使得灵活性、易用性、性能等方面都比Hadoop更有优势，有取代Hadoop的趋势，但其稳定性有待进一步提高。我总结，具体表现在如下几个方面：框架：Hadoop:MapRedcue由Map和Reduce两个阶段，并通过shuffle将两个阶段连接起来的。但是套用MapReduce模型解决问题，不得不将问题分解为若干个有依赖关系的子问题，每个子问题对应一个...

原创 Spark程序的端到端运行架构解读

Spark任务提供多层分解的概念，Spark组件将用户的应用程序分解为内部执行任务并提供执行容器，资源管理为spark组件提供资源管理和调度。Spark任务：应用程序：由一个driver program和多个job构成； job：由多个stage组成； stage：对应一个taskset， taskset：对应一组关联的相互之间没有shuffle依赖关系的task组成。 task：...

原创 Spark TaskScheduler的源码图解

TaskScheduler模块用于与DAGScheduler交互，负责任务的具体调度和运行。任务调度模块基于两个Trait：TaskScheduler和 SchedulerBackend。TaskScheduler：定义了任务调度模块的对外接口（submitTasks等），供DAGScheduler调用。TaskSchedulerImpl是TaskScheduler的具体实现，完成资源与任...