- 博客(324)
- 资源 (17)
- 收藏
- 关注
RSS订阅原创 64位的linux装的hadoop是32位的，需要手工编译
//64位的linux装的hadoop是32位的---coco# by coco# 2014-07-0264位的linux装的hadoop是32位的，需要手工编译。遇到的问题描述：[root@db96 hadoop]# hadoop dfs -put ./inDEPRECATED: Use of this script to execute hdfs comma
2014-07-25 11:36:29
19095
2
原创 zookeeper安装配置
zookeeper安装配置---coco#by coco#2014-07-25本文主要是简单介绍zookeeper的安装过程。3. 安装配置zookeeper[root@db96 ~]# wget http://mirror.bit.edu.cn/apache//zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gz
2014-07-25 11:32:52
1991
原创 hive与hdfs整合过程
hive与hdfs整合过程---coco# by coco# 2014-07-25hive的具体练习：（以下4个目标）1. 第一普通的hdfs文件能导入到hive中，以供我们查询。2. 第二hbase中的表，能导入hive中，以供我们查询。3. 第三mysql中的表，能导入hive中，以供我们查询。4. hive中的各种查询分析结果，能导入到mysql当
2014-07-25 11:23:54
29781
1
原创 hive与hbase整合过程
hive与hbase整合过程---coco# by coco# 2014-07-25 本文主要实现一下目标： 1. 在hive中创建的表能直接创建保存到hbase中。 2. hive中的表插入数据，插入的数据会同步更新到hbase对应的表中。 3. hbase对应的列簇值变更，也会在Hive中对应的表中变更。 4. 实现了多列，多列簇的转
2014-07-25 11:22:31
27837
2
原创 hadoop安装配置
//hadoop安装配置---coco# by coco#2014-07-25本资料主要介绍hadoop的安装配置过程。如有不懂的请联系：qq:120890945本次环境以3台虚拟机为主：192.168.8.96 db96192.168.8.98 db98192.168.8.99 db991. hive是建立在hadoop基础之上
2014-07-25 11:19:55
4345
原创 hive安装配置
hive安装配置---coco# by coco# 2014-07-255. hive的安装配置下载：apache-hive-0.13.1-bin.tar.gz[root@db96 local]# wget http://apache.fayea.com/apache-mirror/hive/hive-0.13.1/apache-hive-0.13.1-bin.ta
2014-07-25 11:19:11
40580
3
原创 hbase安装配置
hbase安装配置---coco#by coco#2014-07-254. hbase配置 下载：hbase-0.96.2-hadoop2-bin.tar.gz[root@db96 ~]# wget http://apache.dataguru.cn/hbase/hbase-0.96.2/hbase-0.96.2-hadoop2-bin.tar.gz[roo
2014-07-25 11:18:18
7171
原创 InnoDB: Warning: a long semaphore wait 解决办法
InnoDB: Warning: a long semaphore wait: 813 --Thread 139957495039744 has waited at btr0cur.cc line 545 for 241.00 se
2014-07-08 10:59:32
18110
1
原创 mysql Error:The total number of locks exceeds the lock table size
今天在创建表的时候报错如下： Error: The total number of locks exceeds the lock table size解决办法：
2014-07-03 14:23:31
2377
原创 linux swap空间的swappiness=0
修改linux swap空间的swappiness，降低对硬盘的缓存 linux 会使用硬盘的一部分做为SWAP分区，用来进行进程调度--进程是正在运行的程序--把当前不用的进程调成‘等待（standby）‘，甚至‘睡眠（sleep）’，一旦要用，再调成‘活动（active）’，睡眠的进程就躺到SWAP分区睡大觉，把内存空出来让给‘活动’的进程。 如果内存够大，应当告诉 li
2014-07-01 13:51:39
15733
1
转载 mysql5.6中binlog-row-image=minimal
更好的应用程序可用性：在线 DDL/模式 变化 如今基于web的应用程序被设计用来快速的进化以及自适应业务和生产需求。当一个应用程序必须迅速适应新的产品线或新产品时，后端数据库模式也必须跟着适应，但是又要求同时应用程序可以正常的业务操作。mysql5.6提供了这种程度的在线模式，此新语法为ALTER TABLE DDL，其他附加有：CREATE INDEXDROP IND
2014-06-30 08:38:29
4573
转载 MySQL5.6之Index Condition Pushdown(ICP,索引条件下推)
MySQL5.6之Index Condition Pushdown(ICP,索引条件下推)ICP（index condition pushdown）是mysql利用索引（二级索引）元组和筛字段在索引中的where条件从表中提取数据记录的一种优化操作。ICP的思想是：存储引擎在访问索引的时候检查筛选字段在索引中的where条件（pushed index condition
2014-06-23 11:18:05
1080
转载 mysql 5.6 分区表
mysql 5.6 分区表一.分区表简介mysql从5.1版本开始支持分区。每个分区的名称是不区分大小写，同个表中的分区名称要唯一，以下实例mysql5.6上测试通过。mysql支持以下几种类型的分区：1.RANGE 分区：基于属于一个给定连续区间的列值，把多行分配给分区。2.LIST 分区：类似于按RANGE分区，区别在于LIST分
2014-06-17 10:50:20
1295
原创 关于mysql主从复制的过滤机制的测试
//关于mysql主从复制的过滤机制的测试# by coco# 18695857601slave 状态显示区别：Replicate_Do_DB: db2Replicate_Do_Table: db2.% Replicate_Wild_Do_Table: db2.%my.cnf 参数配置区别：replicate-do-db=db2repli
2014-06-11 10:02:14
3047
2
转载 MySQL 5.6的72个新特性（译）
MySQL 5.6的72个新特性（译）一，安全提高1.提供保存加密认证信息的方法，使用.mylogin.cnf文件。使用mysql_config_editor可以创建此文件。这个文件可以进行连接数据库的访问授权。mysql_config_editor会进行加密而不是明文存储。客户端只会在内存中进行解密。这样密码以非明文方式存储，不会在命令行或者环境变
2014-06-09 17:03:14
8987
转载 mysql5.6主从参数详解
mysql5.6的主从相当的不错，增加了不少参数，提升了主从同步的安全和效率，以下是mysql5.6主从参数详解。1234567891011121314151617181920212223
2014-06-09 16:56:08
1067
转载 Linux IO实时监控iostat命令详解
Linux IO实时监控iostat命令详解简介iostat主要用于监控系统设备的IO负载情况，iostat首次运行时显示自系统启动开始的各项统计信息，之后运行iostat将显示自上次运行该命令以后的统计信息。用户可以通过指定统计的次数和时间来获得所需的统计信息。 语法iostat [ -c ] [ -d ] [ -h ] [ -N ] [ -k | -m ] [
2014-06-06 08:48:54
780
转载 MySQL里的set global wait_timeout
如果你没有修改过MySQL的配置，缺省情况下，wait_timeout的初始值是28800。wait_timeout过大有弊端，其体现就是MySQL里大量的SLEEP进程无法及时释放，拖累系统性能，不过也不能把这个指设置的过小，否则你可能会遭遇到“MySQL has gone away”之类的问题，通常来说，我觉得把wait_timeout设置为10是个不错的选择，但某些情况下可能也会出问
2014-03-18 15:16:09
18563
原创 yum源导入KEY值----warning: rpmts_HdrFromFdno: Header V3 RSA/SHA1 Signature, key ID c105b9de: NOKEY
yum源更新后需要导入 key值，否则报错如下，无法安装相关的包。 Total size: 42 MDownloading Packages:warning: rpmts_HdrFromFdno: Header V3 RSA/SHA1 Signature, key ID c105b9de: NOKEYRetrieving key from file:///etc/pki/rpm
2014-03-10 12:35:04
37033
2
原创 innodb_buffer_pool_size innodb_log_buffer_size
集群主从延迟原因排查 1. 早上9点过后进去A3台从库主从均开始出现延迟。 从库db012,db015,db016均出现主从延迟的现象。 观察DBEYE：从8:50----10:59 db015,db016的负载均比db012的高出2倍多。 也就是说db012的处理能力远远高于db015,db016，为什么呢？仔细对比My.cnf的参数：db015,db0
2014-03-05 08:46:23
3570
1
转载 MySQL 5.6 禁用INNODB
MySQL 5.6 禁用INNODBINNODB是MySQL被ORACLE收购后开发的，支持事务和行级锁等高级功能，但是并不是所有人都需要INNODB的，对大部分人来说，以前的MYISAM引擎就够了，一般会选择将默认引擎改为MYISAM，但是INNODB还是会耗费内存和硬盘，这时候，就需要把INNODB彻底禁用。在以前的MySQL中，一般可以这么设置就行了：
2014-01-14 16:47:48
2150
转载 MySQL5.6 选项和变量整理
MySQL5.6 选项和变量整理 (2013-04-01 18:10:00)转载▼标签： mysql5.6配置参数整理分类： MySQL --allow-suspicious-udfs这个选项控制是否用户定义函数只有一个xxx符号用于主函数加载。默认，该选项是关闭并且只具有至少一个辅助符号的UDFs才可以加
2013-12-30 14:10:34
19787
1
原创 YUM更换源(1)--yum找不到安装包
YUM更换源(1)--yum找不到安装包最近配置的163yum源老是失效，404错误，找不到文件，于是就下载了sohu的，下面是一篇比较好的帖子，里面介绍了几种Yum源，拿来与大家分享一下。公司提供的CentOS VM中，/etc/yum.repos.d 下 只有一个build.repo，其中提供的yum 源只有公司内部的几个源，很多包在这些源中都找不到。于是要添加别的源，下面
2013-12-06 09:32:01
14321
转载 mysql分表，分区的区别和联系
mysql分表，分区的区别和联系张映 发表于 2010-09-22分类目录： mysql一，什么是mysql分表，分区什么是分表，从表面意思上看呢，就是把一张表分成N多个小表，具体请看mysql分表的3种方法什么是分区，分区呢就是把一张表的数据分成N多个区块，这些区块可以在同一个磁盘上，也可以在不同的磁盘上，具体请参考mysql分区功能详细介绍，以及实例
2013-11-22 10:49:55
967
原创 InnoDB: Warning: difficult to find free blocks in
从昨天开始错误日志剧增，查看一下报的都是这个错：果断查看my.cnf 果真 innodb_buffer_pool_size=20M看了一下内存16G。。。。16G*80%=12G 因为是db专用服务器所以，可以把这个参数值设置的最大为12G，于是设置 ： innodb_buffer_pool_size=1024M 第一次没设置那么大。然后重启数据库，报错消失。131121
2013-11-21 10:33:10
7314
转载 MHA自动Failover过程解析(updated) ------好东西 分享一下
允许转载, 转载时请以超链接形式标明文章原始出处和网站信息http://www.mysqlsystems.com/2012/03/figure-out-process-of-autofailover-on-mha.htmlMHA自动Failover过程解析(updated) By zhang, on March 31st, 2012MHA是一位日本MySQL大牛用P
2013-10-28 09:10:34
5603
2
原创 /ERROR 1045 (28000): Access denied for user 'wwn'@'localhost' (using password: YES)
//ERROR 1045 (28000): Access denied for user 'wwn'@'localhost' (using password: YES) 问题在本次迁移过程中，发现一个问题。用root用户授all privileges 权限时报错：ERROR 1045 (28000): Access denied for user 'wwn'@'localhost'
2013-10-21 16:13:30
1753
原创 MHA masterha_master_switch 命令的用法三种介绍
12.masterha_master_switch masterha_manager是一种监视和故障转移的程序。另一方面,masterha_master_switch程序不监控主。 masterha_master_switch可以用于主故障转移,也可用于在线总开关。 1. Manual Failover //手动切换： 有时你可能想做手动故障转移。masterha_master_
2013-10-10 11:14:15
7076
原创 MHA参数的理解简译
MHA参数的翻译，在网上找了很多，都没有具体的，只有原英文版的，自己就简单的翻译总结了一下，储备！//MHA参数的理解简译#by coco#2013-10-091. candidate_master //你可以使用不同类型的机器在slaves之间,想要促进最可靠的机器到新master(即促进RAID1 + 0的slave,而不是恢复slave).通过设置 candida
2013-10-09 13:51:33
6443
转载 MHA自动Failover过程解析
MHA是一位日本MySQL大牛用Perl写的一套MySQL故障切换方案，来保证数据库系统的高可用。近期，在田老师的推动下，开始一步步深入了解这个HA方案，并也计划在公司线上尝试部署。下面的东西是这段时间的学习笔记和个人理解，没有具体的实战经验，只是人为测试模拟故障的发生，通过日志来分析MHA背后的自动切换过程。首先，介绍下它的一些特点，以及为什么用它，在哪种场合更适合用它。1. 10-30
2013-10-08 16:40:13
1288
转载 pt-table-checksum MySQL主从服务器数据一致性的核对与修复
一篇好文章，记录保存一下以后备用！Percona Toolkit里的pt-table-checksum和pt-table-sync可以搞定此类问题。它们的安装很简单，可以依照自己的操作系统选择下载rpm或者deb软件包来安装，当然也可以使用源代码来安装，不过要注意的是，必须确保系统已经安装了依赖的Perl软件包：shell> perl -MCPAN -e 'install DBI' s
2013-10-08 09:53:35
3046
原创 open /root/.ssh/id_rsa failed: Permission denied. Saving the key failed: /root/.ssh/id_rsa.
问题3[root@localhost ~]# ssh-keygen -t rsaGenerating public/private rsa key pair.Enter file in which to save the key (/root/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same
2013-09-29 15:37:48
14130
1
原创 perl Makefile.PL;make;make install 安装时报错
[root@localhost mha4mysql-node-0.52]# perl Makefile.PL;make;make installCan't locate ExtUtils/MakeMaker.pm in @INC (@INC contains: inc /usr/local/lib64/perl5 /usr/local/share/perl5 /usr/lib64/perl5
2013-09-29 13:57:32
25182
转载 MySQL半同步复制（Semi-synchronous Replication）
在企业应用中,MySQL经常采用主从构架,或者主主架构,这样可以实现MySQL服务器的负载均衡,提升MySQL服务器的性能.而关键是,可以实现MySQL的数据同步复制功能,来为企业数据备份提供一种方便的机制默认情况下，MySQL5.5 的复制功能是异步的，这意味着当谈到数据一致性时，主服务器及其从服务器是独立的。异步复制可以提供最佳的性能，因为主服务器在将更新的数据写入它的二进制日志（Binl
2013-09-27 17:25:13
1342
转载 percona-toolkit 之 【pt-table-checksum】、【pt-table-sync】说明
percona-toolkit 之 【pt-table-checksum】、【pt-table-sync】说明摘要：工作上需要把一个从库提升为主库，但对从库和主库的数据一致性不能保证一样，所以就利用 pt-table-checksum 工作来检查主从的一致性（之前写过用1.0.1的版本可以进行操作的文章，但是在新版本操作就不行了，只能重新来过）以及通过 pt-table-sync 如何
2013-09-26 17:29:35
7011
转载 linux中强大的screen命令
linux中强大的screen命令今天发现了一个“宝贝”，就是Linux的screen命令，对于远程登录来说，不仅提供了类似于nohup的功能，而且提供了我非常喜欢的“多个桌面”的功能。平常开一个putty远程登录，经常需要在两个程序之间来回切换，怎么办？ctrl-z和fg、bg？这些太麻烦了。其实我们可以借助screen命令来实现轻松便捷的切换。我主要是参考了下面的两篇文章（附在结尾
2013-09-26 09:37:55
893
1
原创 shell 脚本 “bc: command not found ” 解决
最近调试了一个脚本，在一台环境里，正常运行，在另外一台服务器环境里，就报错“bc: command not found查找发现问题如下：linux字符界面下也是有计算器的，那就是bc！但是到现在位置我几乎还没有看到有谁会在字符界面下用bc敲敲打打的，我想bc大概也可以放入箱底了吧，不过有时候手边没有计算器的时候bc可是一个非常的工具啊。运行方法很简单，在shell中直接输入bc
2013-09-24 15:19:29
65012
原创 shell脚本报错"expr: syntax error" 解决方案
几天前写了个shell脚本，在自己本地测试服务器上运行正常，在线上服务器环境，运行报错syntax error near unexpected token `，左看右看shell脚本没有问题，没有办法google搜索，发现一位仁兄转载的讲的挺好，拿来记录一下。内容如下：用命令vi -b 打开你的SHELL脚本文件，你会。发现每行脚本最后多了个^M。 那么接下来就要搞清楚这个^M是什么东东
2013-09-24 15:02:32
35953
1
原创 linux 获取时间
DATE=`date "+%Y%m%d %H:%M:%S"` echo '2013-09-09 17:06:45' | awk '{print $2}' | awk -F: '{print $1}' 获取17点的时间。
2013-09-17 17:17:02
888
新华字典 2014版 Access数据库
2017-01-12
7.7中文破解版.rar
2014-10-09
mysql-connector-java-5.1.31-bin.jar
2014-07-29
MySql常用命令总结
2013-12-20
Atlas部署及常见问题
2013-11-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人