Peter_Changyb的博客

原创 Hbase安装详细步骤实战

 上传首先确保用户是hadoop，用工具将hbase安装包hbase-0.99.2-bin.tar.gz上传到/home/hadoop下，确保hbase-0.99.2-bin.tar.gz的用户是hadoop，如果不是，执行chown命令解压su – hadooptar –zxvf  hbase-0.99.2-bin.tar.gz重命名mv hbase-0.99.2 hbas...

原创 数据库卸载五部曲（适合MysqlMongoDB/Oracle）

数据卸载方法step1.关闭数据库（oracle,mysql,MongoDB）服务cmd  services.msc  停止或者停不掉就接着往下做step2.删除注册表regeditQL进入HKEY_LOCAL_MACHINE--->SYSTEM------>control --->services删除(oracle,mysql,MongoDB）服务step...

原创 设计模式：观察者模式图解实战

原创 设计模式：组合和迭代模式实战图解

原创 设计模式：适配模式图解实战

原创 设计模式：责任链模式实战

原创 设计模式：策略和状态模式组合实战架构设计

原创 MapReduce图解工作原理

原创 Mongodb安装三部曲

Mongodb下载https://www.mongodb.com/download-center#community。 直接下载msi安装版：mongodb-win32-x86_64-2008plus-ssl-3.4.3-signed.msi创建data目录和log目录         我把Mongodb安装到D:\mongodb下，在本目录创建data，data下创建db文件夹和log文...

原创 Spark源码之调度原理图解

原创 Spark核心概念讲解（任务和组件）

原创 大数据平台技术架构和微服务建设

原创 IDEA常用快捷键实战总结

Ctrl+F：在当前文件中查找（必备）Ctrl+R：在当前文件中进行文本替换（必备）Ctrl+Z：撤销（必备）Ctrl+Y：删除光标所在行 或 删除选中的行（必备）Ctrl+X：剪切光标所在行  或 剪切选中的行（必备）Ctrl+C：复制光标所在行 或 复制选择内容Ctrl+D：复制光标所在行或复制选择内容，并把复制的内容插入光标位置下面（必备）Ctrl+Alt+L：格...

原创 IDEA开发环境安装最全详解

IDEA开发环境构建前言IDEA 全称IntelliJ IDEA，是java语言开发的集成环境，IntelliJ在业界被公认为最好的java开发工具之一，尤其在智能代码助手、代码自动提示、重构、J2EE支持、Ant、JUnit、CVS整合、代码审查、 创新的GUI设计等方面的功能可以说是超常的。另外对于用scala开发spark要更加友好一些。 IDEA的功能相较于Eclipse等常用开发工具强...

原创 SparkMlib之协同过滤案例实战

推荐药品以下是用户的数据信息，数据集的数据格式是：lable是表示用户类型（1-4），后面是特征值表示药品类型（10-20）和疗效（0-5）。20条数据集如下，1 11 21 12 31 13 11 14 01 15 12 11 12 12 22 15 12 14 32 11 12 13 52 12 13 17 43 12 23 15 13 14 33 11 ...

原创 Zookeeper在Hbase中的工作原理和三次寻址详解

Zookeeper原理介绍Zookeeper是一个开放源码的分布式集群协调器，主要用于解决分布式应用中的统一命名服务、状态同步服务、集群管理、配置项管理等问题。HBase安装包中含有内置ZooKeeper，也可以使用独立安装的ZooKeeper。主要有如下作用：解决HMaster的单点故障问题： Hbase中可以启动多达10个HMaster，通过ZooKeeper的Master Electi...

原创 HBase工作原理最全详解（图文）

HBase集群是由HMaster和HRegionServer等服务组成的。HMaster是HBase集群的管理者，负责管理多个HRegionServer，以及对其上的表和区域Region的管理、对用户数据请求的响应。集群工作主要是客户端和集群交互进行数据文件的读写，由客户端直接和HRegionServer通信，当出现故障后HMaster负责集群的故障切换、HRegion拆分、管理操作接口，因此HM...

原创 Hadoop安装过程中问题总结

我的经验是先记住三点一是学会看日志：例如：cat /usr/local/hbase-1.1.2/logs/hbase-root-master-hadoop1.log二是，保证各节点时间同步方法：date -s "2017-04-13 10:42:00"三是，按照启动顺序排查如下：...

原创 MongoDB 发布了最新的 4.0 版本，支持事务处理。

MongoDB 最近发布了最新的 4.0 版本。毫无疑问，这一版本的主要特性是支持多文档 ACID 事务。MongoDB 向与关系型数据库产品的融合迈出了一大步，现在支持会话的概念，并可以使用 start_transaction() 和 commit_transaction() 方法将多个数据库命令包含在单个 MongoDB 事务中。MongoDB 的事务遵循著名的 ACID 模型。...

原创 SpringMVC和Mina集成的配置方法

<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.springfram

原创 SpringMVC集成AngularJS架构设计

原创 Mina对粘包和断包的最详细源码解读

Mina对粘包和断包的处理mina对编解码的支持，在解码过程中，不得不面对的一个问题就是TCP的粘包和断包，先说下什么是粘包和断包。TCP通讯是面向数据流的通讯，我们将数据流理解为一支竹竿，数据包就相当于竹竿中的每一节，那么我们的解码过程就相当于对竹竿进行分解的过程。竹竿就是多个数据包的“粘包”，断包就是指竹节中间断开，我们需要将它拼接成为一个完整的竹节，如果不能拼接起来就要废弃这部分。...

原创 Hbase最权威的核心技术总结

HBase属于存储层，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，可在廉价PC Server上搭建起大规模结构化存储集群。Hbase依托于很多框架和工具。其中，Hadoop HDFS为HBase提供了高可靠性的底层存储支持，Hadoop MapReduce为HBase提供了高性能的计算能力，Zookeeper为HBase提供了稳定服务和failover机制。Pig和Hive还为HBas...

原创 Hive和传统数据库区别总结

 1、数据存储位置。Hive是建立在Hadoop之上的，所有的Hive的数据都是存储在HDFS中的。而数据库则可以将数据保存在块设备或本地文件系统中。2、数据格式。Hive中没有定义专门的数据格式，由用户指定，需要指定三个属性：列分隔符，行分隔符，以及读取文件数据的方法。数据库中，存储引擎定义了自己的数据格式。所有数据都会按照一定的组织存储。3、数据更新。Hive的内容是读多写少的，因...

原创 Spark RDD核心知识点总结

 RDD介绍Resilient Distributed Datasets，意为容错的、并行的数据结构，可以让用户显式地将数据存储到磁盘和内存中，并能控制数据的分区。同时，RDD还提供了一组丰富的操作来操作这些数据。 RDD的特点它是在集群节点上的不可变的、已分区的集合对象。 通过并行转换的方式来创建如(map, filter, join, etc)。 失败自动重建。 可以控制...

原创 项目研发阶段管理和职责总结

原创 Flume的安装及详细配置指南

Flume的安装Flume的安装比较简单，上传安装包到只需要解压即可，当然，前提是已有hadoop环境，上传安装包到数据源所在节点上。 解压  tar -zxvf apache-flume-1.6.0-bin.tar.gz 进入flume的目录，修改conf下的flume-env.sh，在里面配置JAVA_HOME。 根据数据采集的需求配置采集方案，描述在配置文件中(文件名可任意自定义)...

原创 Flume工作原理详解

Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件、socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中。一般的采集需求，通过对flume的简单配置即可实现。Flume针对特殊场景也具备良好的自定义扩展能力，所以flume可以适用于大部分的日常数据采集场景。Flume的运行原理是：F...

原创 Shiro工作原理详解

Apache Shiro是一个强大且易用的Java安全框架,执行身份验证、授权、密码学和会话管理。使用Shiro的易于理解的API,您可以快速、轻松地获得任何应用程序,从最小的移动应用程序到最大的网络和企业应用程序。三个核心组件：Subject, SecurityManager 和 Realms。具体说明如下：Subject：即“当前操作用户”。但是，在Shiro中，Subject这一概念并不...

原创 Mongodb集群操作的JAVA代码详解

 本次测试是通过java代码直接连接Mongodb集群，执行增删改查操作来完成对集群的测试。 jar准备由于mongodb复制集的版本为3.4.3，需要我们到mongodb官网去下载对应的java驱动包mongo-java-driver-3.2.1.jar。集群连接package com.mongo.demo;import java.net.UnknownHostExcep...

原创 MongoDB集群的用户创建（Windows）

添加超级管理员上面的复制集搭建方式为不需要认证和授权，但是在实际生产环境中，出于安全的考虑，会为复制集设置用户名和密码和账户，下面是复制集用户的相关操作和认证授权，复制集以不需要认证的方式启动后， 使用mongo.exe  -port **   连接到primary节点，然后执行下面的命令，此时就为该复制集创建了超级管理员。use admin;db.createUser( {    ...

原创 MongoDB复制集搭建(Windows)

集群环境准备  首先确保Windows下安装了Mongodb，具体下载地址载网址是：https://www.mongodb.com/download-center#community。 直接下载msi安装版：mongodb-win32-x86_64-2008plus-ssl-3.4.3-signed.msi。下载后进行安装（可以自定义安装目录）。复制集搭建在某盘创建存放Mongodb复...

原创 MongoDB集群工作原理

 随着业务数据和并发量的增加，若只使用一台MongoDB服务器，存在着断电和数据风险的问题，故采用Mongodb复制集的方式，来提高项目的高可用、安全性等性能。MongoDB复制是将数据同步在多个服务器的过程。复制提供了数据的冗余备份，并在多个服务器上存储数据副本，提高了数据的可用性， 并可以保证数据的安全性。复制还允许从硬件故障和服务中断中恢复数据。我们以一台windows下安装三个mong...

原创 Sqoop 数据迁移案例

Sqoop 数据迁移工具定义 主要用于在 Hadoop(Hive)和传统数据库(mysql 等)之间进行数据的传递层实现由 MR 完成(严格来说，只执行 map，没有 reduce)部署 只需要部署在一台服务器上，作为程序提交给 YARN配置 已在 Hadoop 集群中配置，免配置(可以在 sqoop-site.xml 个性化配置)第三方库 需要在 sqoop 的 lib 目录下添加 ...

原创 Redis启动和监控

前端启动的命令：         [root@itheima bin]# ./redis-server前端启动的关闭：         强制关闭：Ctrl+c         正常关闭：[root@itheima bin]# ./redis-cli shutdown启动界面： 前端启动的问题：         一旦客户端关闭，则redis服务也停掉。后端启动...

原创 Redis3.0安装经验总结

redis下载官网地址：http://redis.io/下载地址：http://download.redis.io/releases/redis-3.0.0.tar.gzredis的安装环境会安装到linux系统中。第一步：安装VMware，并且在VMware中安装centos系统（参考linux教程）。第二步：将redis的压缩包，上传到linux系统第三步：对red...

原创 机器学习之决策树SaprkMlib代码实战

决策树含义：一种监督学习：每一个样本都有一组属性和一个分类，通过学习构建分类器，这个分离器可以对新出现的对象进行正确分类，从一组无序的样本中总结出符合要求的分类规则。决策树的构建方法：信息增益最大的作为根节点决策树的算法基础ID3算法（信息增益），C4.5(信息增益率)实现：Val data = MLUtil.loadLibSVMFile(sc, “c://DT.txt”);...

原创 机器学习模型评估指标详细解释

 TP: true（预测是正确），positive（预测为正样本）FN: false（预测是错误），negative（预测为负样本）TN: true（预测是正确），negative（预测为负样本）FP: true（预测是错误），positive（预测为正样本）P(实际为正样本)=TP+FN;N(实际为负样本)=TN+FP正确率(accuracy)=TP+TN/P+N...

原创 Spark2.2.0集群构建方法

安装Spark2.2.0，构建Spark开发环境下载spark安装包，下载地址spark官网：http://spark.apache.org/downloads.html，选择spark-2.2.0-bin-hadoop2.7版本 新建安装目录：/usr/local 解压 tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz 重命名mv spark-2.2.0-...

原创 SpringMVC集成Mongodb常用注解总结

@Document(collection=“”) 用于声明该类与mongodb库的collection进行映射，括号里的字符串参数即为collection名称，例如@Document(collection = "SportsData") @Id  用于声明该字段作为mongodb的主键 @Indexed 用于在mongodb数据库中给该字段建立索引 @RequestMapping(value...