git 冲突解决技巧

提交版本后出现冲突如果冲突在同一行,git pull之后再提交就解决了如果冲突不在同一行 git pull之后也会有冲突git pull 之后有冲突:$ git pullremote: Counting objects: 5, done.remote: Compressing objects: 100% (2/2), done.remote: Total 3 (delta 0), reused 0...
阅读(67) 评论(0)

MySQL主从复制和读写分离的搭建

① 搭建主从复制前提准备环境准备:两台服务器 分别安装两台MySQL数据库,分别配置登陆用户密码,配置允许第三台机器访问本机MySQL,编辑/etc/my.inf防止中文乱码1.0 服务器server3    192.168.0.130server4    192.168.0.1401.1 安装MySQL:yum -y install mysql-server1.2 启动MySQL服务:servi...
阅读(81) 评论(0)

MySQL优化技巧

MySQL优化三大方向① 优化MySQL所在服务器内核(此优化一般由运维人员完成)。② 对MySQL配置参数进行优化(my.cnf)此优化需要进行压力测试来进行参数调整。③ 对SQL语句以及表优化。MySQL参数优化1:MySQL 默认的最大连接数为 100,可以在 mysql 客户端使用以下命令查看mysql> show variables like 'max_connections';2:查看...
阅读(68) 评论(0)

Hadoop详解(七)——Hive的原理和安装配置和UDF,flume的安装和配置以及简单使用,flume+hive+Hadoop进行日志处理

hive简介什么是hive?① hive是建立在Hadoop上的数据仓库基础架构。它提供了一系列的工具,可以用来进行数据提取转换加载(ETL),这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive定义了简单的类似于SQL的查询语言称为QL,它允许熟悉SQL的用户查询数据。同时这种语言也允许熟悉MapReduce的开发者进行开发自定义的mapper和reducer来处理内建的...
阅读(152) 评论(0)

Hadoop详解(六)——HBASE原理、HBASE的集群安装、常用命令和Java接口

HBASE简介HBASE是bigtable的开源山寨版本。是建立在HDFS基础之上,提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介于nosql和RDBMS之间,仅能通过主键(row key)和主键的range来检索数据,仅支持单行事务(可通过hive支持来实现多表join)等复杂操作。主要用来存储非结构化和半结构化的松散数据。与Hadoop一样,HBASE目标主要依靠横向扩展,通...
阅读(84) 评论(0)

Hadoop详解(五)——ZooKeeper详解,ZooKeeper伪分布搭建和集群搭建,Hadoop集群搭建,sqoop工具的使用

ZooKeeper简介什么是ZooKeeper?ZooKeeper是Google的Chubby一个开源的实现,是Hadoop分布式协调服务。它包含了一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命令服务等。它的结构图如下:ZooKeeper集群搭建的要求:必须要有奇数台。如果想让ZooKeeper既具有高效性,又能正常工作,只要需要3台的ZooKeeper集群。ZooKeepe...
阅读(136) 评论(0)

Hadoop详解(四)——Shuffle原理,Partitioner分区原理,Combiner编程,常见的MR算法

Partitioner编程Partition简介shuffle是通过分区partitioner 分配给Reduce的 一个Reducer对应一个记录文件Partitioner是shuffle的一部分partitioner执行时机:在mapper执行完成,Reducer还没有执行的时候,mapper的输出就是partitioner的输入 即partitioner 分区主要是用来提高效率的 例如从全国...
阅读(122) 评论(0)

Hadoop详解(三)——MapReduce原理和执行过程,远程Debug,Writable序列化接口,MapReduce程序编写

MapReduce概述MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题。MR由两个阶段组成:Map和Reduce,用户只需要实现map()和Reduce()两个函数,即可实现分布式计算。这两个函数的形参是key、Value对,表示函数的输入信息。MapReduce的老大是JobTracker 小弟叫TaskTracker相当于小组长 执行具体任务...
阅读(455) 评论(0)

Hadoop详解(二)——HDFS的命令,执行过程,Java接口,原理详解。RPC机制

HDFS是Hadoop的一大核心,关于HDFS需要掌握的有:分布式系统与HDFS、HDFS的体系架构和基本概念、HDFS的shell操作、Java接口以及常用的API、Hadoop的RPC机制、远程debugDistributed  File System数据量越来越多,在一个操作系统管理的范围存储不了,那么就需要分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多...
阅读(150) 评论(0)

Hadoop详解(一)——大数据和Hadoop的简介、Hadoop伪分布式的安装步骤

Hadoop是什么? 官方解释是: What Is Apache Hadoop? The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing. Hadoop是一个开源,可靠,可扩展的分布式计算软件。 Hadoop用于解决以下问题: 海量数据的存储(HDFS) 海量数据的分析(MapReduce) 资源管理调度(YARN)...
阅读(109) 评论(0)

Linux使用rpm方式安装MySQL时异常总结

因为搞大数据中的hive时需要安装MySQL作为元数据库,处于没有外网的原因 我在官网https://dev.mysql.com/downloads/mysql/  下载了安装包(Server和Client) 但是在安装时出现了以下问题[root@hadoop5 Desktop]# rpm -ivh mysql-community-server-5.7.19-1.el7.x86_64.rpm w...
阅读(312) 评论(0)

Hadoop运行中NameNode闪退和运行mapreducer时卡在Running job.....

开始安装Hadoop时 第一次成功启动 包括MapReducer程序也能成功运行。后来不知道什么原因 进入了Safe mode即使退出了安全模式照样不能对HDFS进行任何修改操作,索性hdfs namenode -format格式化一下,连启动都无法启动了,修改NameNode和DataNode的clusterID一致后 虽然修改HDFS问题解决了,但是运行任务时总是卡在了Running job ...
阅读(195) 评论(0)

Hadoop格式化后出现异常

我在正常安装Hadoop 格式化后正常启动,在安装成功后再次格式化就出现了异常,解决方案从如下论坛中找到http://forum.hadoop.tw/viewtopic.php?f=4&t=43...
阅读(126) 评论(0)

JAVAWEB开发之工作流详解(二)——Activiti核心API的使用(流程定义和流程实例的管理、流程变量、监听器...)以及与Spring的集成

管理流程定义 设计流程定义文档 bpmn文件 设置方式可以直接使用插件图形化界面进行设置 为某任务节点指定任务执行者 保存后的BPMN文件可以使用XML编辑器打开 BPMN 2.0根节点是definitions节点。 这个元素中,可以定义多个流程定义(不过我们建议每个文件只包含一个流程定义, 可以简化开发过程中的维护难度)。 一个空的流程...
阅读(376) 评论(0)

普通邮件发送工具类总结

在Spring中也提供了邮件发送,如果对于不使用Spring框架的项目,邮件发送需要封装工具类 导入mail.jar和activation.jar 如果想放入web工程 需要将javaee.jar中的javax.mail和javax.activation两个不完善的工具包删除 具体代码如下: import java.util.Properties; import javax.mail.Au...
阅读(122) 评论(0)

JAVAWEB开发之工作流详解(一)——Activiti的环境搭建、插件安装、核心API

工作流的概念 工作流(Workflow),就是“业务过程的部分或整体在计算机应用环境下的自动化”,它主要解决的是“使在多个参与者之间按照某种预定义的规则传递文档、信息或任务的过程自动进行,从而实现某个预期的业务目标,或者促使此目标的实现”。 工作流管理系统(Workflow Management System, WfMS)是一个软件系统,它完成工作量的定义和管理,并按照在系统中预先定义好的工作...
阅读(333) 评论(1)

JAVAWEB开发之Solr的入门——Solr的简介以及简单配置和使用、solrJ的使用、Solr数据同步插件

Solr简介 Solr是采用Java开发,基于Lucene的全文检索服务器,同时对其进行了扩展,提供了比Lucene更为丰富的查询语言,同时实现了可配置、可扩展并对查询性能进行了优化,并且提供了一个完善的功能管理界面,是一款非常优秀的全文搜索引擎。 Solr是一个独立的企业级搜索应用服务器,它对外提供类似于...
阅读(357) 评论(1)

JAVAWEB开发之Lucene详解——Lucene入门及使用场景、全文检索、索引CRUD、优化索引库、分词器、高亮、相关度排序、各种查询

Lucene入门 应用场景 windows系统中的有搜索功能:打开“我的电脑”,按“F3”就可以使用查找的功能,查找指定的文件或文件夹。搜索的范围是整个电脑中的文件资源。 Eclipse中的帮助子系统:点击Help->Help Contents,可以查找出相关的帮助信息。搜索的范围是Eclipse的所有帮助文件。   在BBS(论坛)、BLOG(博客)、新闻,电子商务系统等系统中提供的...
阅读(438) 评论(0)

JAVAWEB开发之权限管理(三)——shiro与企业项目整合开发(基于Spring)

原理回顾 什么是权限管理? 权限管理是系统的安全范畴,要求必须是合法的用户才可以访问系统(用户认证),且必须具有该 资源的访问权限才可以访问该 资源(授权)。 认证:对用户合法身份的校验,要求必须是合法的用户才可以访问系统。 授权:访问控制,必须具有该 资源的访问权限才可以访问该 资源。 权限模型:标准权限数据模型包括 :用户、角色、权限(包括资源和权限)、用户角色关系、角色权限关系。 ...
阅读(2231) 评论(4)

JAVAWEB开发之权限管理(二)——shiro入门详解以及使用方法、shiro认证与shiro授权

shiro介绍 什么是shiro shiro是Apache的一个开源框架,它将软件系统的安全认证相关的功能抽取出来,实现用户身份认证,权限授权、加密、会话管理等功能,组成了一个通用的安全认证框架。它可以实现如下的功能: 1.验证用户 2.对用户执行访问控制,如:判断用户是否具有角色admin,判断用户是否拥有访问的资源权限。 3.在任何环境下使用SessionAPI。例如C/S程序 4...
阅读(2383) 评论(6)
341条 共18页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:302500次
    • 积分:6274
    • 等级:
    • 排名:第4064名
    • 原创:329篇
    • 转载:10篇
    • 译文:0篇
    • 评论:64条
    博客专栏
    最新评论