- 博客(9)
- 资源 (7)
- 收藏
- 关注
原创 git 冲突解决技巧
提交版本后出现冲突如果冲突在同一行,git pull之后再提交就解决了如果冲突不在同一行 git pull之后也会有冲突git pull 之后有冲突:$ git pullremote: Counting objects: 5, done.remote: Compressing objects: 100% (2/2), done.remote: Total 3 (delta 0), reused 0
2017-09-10 18:39:21 1215
原创 MySQL主从复制和读写分离的搭建
① 搭建主从复制前提准备环境准备:两台服务器 分别安装两台MySQL数据库,分别配置登陆用户密码,配置允许第三台机器访问本机MySQL,编辑/etc/my.inf防止中文乱码1.0 服务器server3 192.168.0.130server4 192.168.0.1401.1 安装MySQL:yum -y install mysql-server1.2 启动MySQL服务:servi
2017-09-10 18:05:02 1808
原创 MySQL优化技巧
MySQL优化三大方向① 优化MySQL所在服务器内核(此优化一般由运维人员完成)。② 对MySQL配置参数进行优化(my.cnf)此优化需要进行压力测试来进行参数调整。③ 对SQL语句以及表优化。MySQL参数优化1:MySQL 默认的最大连接数为 100,可以在 mysql 客户端使用以下命令查看mysql> show variables like 'max_connections';2:查看
2017-09-10 14:14:00 86908 12
原创 Hadoop详解(七)——Hive的原理和安装配置和UDF,flume的安装和配置以及简单使用,flume+hive+Hadoop进行日志处理
hive简介什么是hive?① hive是建立在Hadoop上的数据仓库基础架构。它提供了一系列的工具,可以用来进行数据提取转换加载(ETL),这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive定义了简单的类似于SQL的查询语言称为QL,它允许熟悉SQL的用户查询数据。同时这种语言也允许熟悉MapReduce的开发者进行开发自定义的mapper和reducer来处理内建的
2017-09-05 21:33:21 2976
原创 Hadoop详解(六)——HBASE原理、HBASE的集群安装、常用命令和Java接口
HBASE简介HBASE是bigtable的开源山寨版本。是建立在HDFS基础之上,提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介于nosql和RDBMS之间,仅能通过主键(row key)和主键的range来检索数据,仅支持单行事务(可通过hive支持来实现多表join)等复杂操作。主要用来存储非结构化和半结构化的松散数据。与Hadoop一样,HBASE目标主要依靠横向扩展,通
2017-09-04 23:18:52 1420
原创 Hadoop详解(五)——ZooKeeper详解,ZooKeeper伪分布搭建和集群搭建,Hadoop集群搭建,sqoop工具的使用
ZooKeeper简介什么是ZooKeeper?ZooKeeper是Google的Chubby一个开源的实现,是Hadoop分布式协调服务。它包含了一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命令服务等。它的结构图如下:ZooKeeper集群搭建的要求:必须要有奇数台。如果想让ZooKeeper既具有高效性,又能正常工作,只要需要3台的ZooKeeper集群。ZooKeepe
2017-09-04 11:24:22 2840
原创 Hadoop详解(四)——Shuffle原理,Partitioner分区原理,Combiner编程,常见的MR算法
Partitioner编程Partition简介shuffle是通过分区partitioner 分配给Reduce的 一个Reducer对应一个记录文件Partitioner是shuffle的一部分partitioner执行时机:在mapper执行完成,Reducer还没有执行的时候,mapper的输出就是partitioner的输入 即partitioner 分区主要是用来提高效率的 例如从全国
2017-09-02 15:34:25 8218 1
原创 Hadoop详解(三)——MapReduce原理和执行过程,远程Debug,Writable序列化接口,MapReduce程序编写
MapReduce概述MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题。MR由两个阶段组成:Map和Reduce,用户只需要实现map()和Reduce()两个函数,即可实现分布式计算。这两个函数的形参是key、Value对,表示函数的输入信息。MapReduce的老大是JobTracker 小弟叫TaskTracker相当于小组长 执行具体任务
2017-09-02 10:17:28 6117
原创 Hadoop详解(二)——HDFS的命令,执行过程,Java接口,原理详解。RPC机制
HDFS是Hadoop的一大核心,关于HDFS需要掌握的有:分布式系统与HDFS、HDFS的体系架构和基本概念、HDFS的shell操作、Java接口以及常用的API、Hadoop的RPC机制、远程debugDistributed File System数据量越来越多,在一个操作系统管理的范围存储不了,那么就需要分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多
2017-09-01 00:00:37 3650
UILabel分类——自动调整处理文章格式显示
2015-10-19
IOS第三方库大全
2015-10-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人