- 博客(22)
- 资源 (11)
- 收藏
- 关注
原创 HDFS读写过程
读过程1:初始化FileSystem,然后客户端(client)用FileSystem的open()函数打开文件 2:FileSystem用RPC调用元数据节点,得到文件的数据块信息,对于每一个数据块,元数据节点返回保存数据块的数据节点的地址。 3:FileSystem返回FSDataInputStream给客户端,用来读取数据,客户端调用stream的read()函数开始读取数据。 4:DF
2015-07-28 13:53:34 455
原创 NameNode,SecondaryNameNode与Datanode文件详解
HDFS流程图详解Namenode所存储信息 1. NN是整个文件系统的管理节点。它维护着整个文件系统的文件目录树,文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求 2. 文件包括: fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息。 edits:操作日志文件。 3. fstime:保存最近一次checkpoint的时间 以上这些文件是保存在linux的文件
2015-07-28 11:22:16 2172
转载 zookeeper使用场景
ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现,使该框架保证了分布式环境中数据的强一致性,也正是基于这样的特性,使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍,本文将结合作者身边的项目例子,系统地对ZK的应用场景进行一个分门归类的介绍。值得注意的是,ZK并非天生就是为这些应用场景设计的,都是后来众多开发者根据其框架的特性,利用其提
2015-07-27 14:08:17 391
原创 Hadoop2.5+HA+zk3.4.6集群搭建
部署分布图1.core-site.xml<configuration><property> <name>fs.defaultFS</name> <value>hdfs://bjsxt</value></property><property> <name>ha.zookeeper.quorum</name> <value>hadoop1:2181,hadoop2:2181,
2015-07-27 13:53:52 546
原创 Hadoop-2.5伪分布式+Hive-1.0.1+mysql
hadoop伪分布式0:免密码登录1:jdk环境变量 2:修改5个配置文件:#修改hadoop的环境变量hadoop-env.sh 1:exprot JAVA_HOME=(echo $JAVA_HOME)core-site.xml: <property> <name>fs.defaultFS</name>#用来指定hdfs的namenode的地址
2015-07-24 19:42:57 909
原创 HBase 实现原理以及系统架构详解
好用的东西,总能找到对应的开源实现,这就是开源得魅力。下面一张图看下Hbase的前世今生:HBase是一个构建在HDFS上的分布式列存储系统; HBase是基于Google BigTable模型开发的,典型的key/value系统; HBase是Apache Hadoop生态系统中的重要一员,主要用于海量结构化数据存储; 从逻辑上讲,HBase将数据按照表、行和列进行存储。 与hadoop一
2015-07-21 11:48:28 6723
转载 转:Hbase与Oracle比较(列式数据库与行式数据库)
1 主要区别1.1、Hbase适合大量插入同时又有读的情况1.2、 Hbase的瓶颈是硬盘传输速度,Oracle的瓶颈是硬盘寻道时间。Hbase本质上只有一种操作,就是插入,其更新操作是插入一个带有新的时间戳的行,而删除是插入一个带有插入标记的行。其主要操作是收集内存中一批数据,然后批量的写入硬盘,所以其写入的速度主要取决于硬盘传输的速度。Oracle则不同,因为他经常要随机读写,这样硬盘磁头需要不
2015-07-20 16:20:30 1956
原创 ntpdate[18977]: the NTP socket is in use, exiting解决
问题分析:出现该错误的原因是系统ntpd服务器正在运行中,通过 ps aux | grep ntpd 查看,会看到ntpd正在运行。解决方法:1.#service ntpd stop2.#/usr/sbin/ntpdate ntp.api.bz
2015-07-20 12:15:34 8435
原创 Operation category READ is not supported in state standby解决
hdfs写的那台机器是待机状态的,所以不支持,要在active 机器中写才行。hdfs haadmin -transitionToActive --forcemanual nn1 再次访问就变一active,一个standy
2015-07-17 14:19:57 16106 2
原创 MapReduce执行流程图解
上图是官方的mapreduce的图解,下面我们进行执行流程具体分析。MR执行流程分析: 1. :run job。 客户端提交一个mr的jar包给JobClient(提交方式:./hadoop jar ··· ) 2. get new job ID。 JobClient通过RPC和JobTracker进行通信,返回一
2015-07-17 11:33:26 1013
原创 Linux软连接必须写绝对路径
ln -sf /usr/local/hadoop-2.5.1 /home/hadoop-2.5 前是要软连得文件夹,后是要指导哪个目录。
2015-07-15 12:32:15 3951 1
原创 ./hadoop jar报错classnotfound
解决方案: 检查 Job job = new Job(conf); job.setJarByClass(JobRun.class); job.setMapperClass(WcMapper.class); job.setReducerClass(WcReducer.class);
2015-07-13 15:44:18 586
原创 dfs权限问题
在HDFS-site.xml有一个禁用权限的属性。。。 dfs.permissions true | false dfs权限是否打开,我一般设置false,通过开发工具培训别人界面操作避免误操作,设置为true有时候会遇到数据因为权限访问不了。
2015-07-13 13:25:49 3613
转载 JobTracker和TaskTracker详解
一 概述:(1)Hadoop MapReduce采用Master/Slave结构。*Master:是整个集群的唯一的全局管理者,功能包括:作业管理、状态监控和任务调度等,即MapReduce中的JobTracker。*Slave:负责任务的执行和任务状态的回报,即MapReduce中的TaskTracker。二 JobTracker剖析:(1)概述:JobTracker是一个后台服务进程,启
2015-07-13 11:24:23 15689 1
原创 redmine比较慢以及测试邮件发送完成收不到邮件
当delivery_method设置为:smtp时, 它的处理流程是这样的: 在触发邮件发生的事件发生后, 首先发送邮件, 直到邮件发送完毕, 页面才跳转. 这就是说在发送邮件的过程中, 页面一直处于等待状态.那么有没有一种异步发送邮件机制呢? 在Redmien 0.9 之后, 可通过将delivery_method设置为:async_smtp, 这时发送邮件和页面跳转属于不同的线程, 当触发邮
2015-07-09 12:28:36 2780
原创 SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException
报错:SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: centos148: centos148: Name or service not known刚配置hadoop1.2,格式化namenode时候报的这个错。 请查看自己的hostname 我的hostname和并没有添加到自己的hosts文件192
2015-07-08 17:20:14 3427
原创 linux免密码登录问题
在测试免密码登录的时候执行以下命令:$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys复制公钥后发现登录依然需要密码,后来通过scp把公钥传给另外一套服务器,进行追加,OK了。 奇葩的问题你懂得!!!
2015-07-08 17:05:01 408
原创 iptables小总结
1、iptables四表五链四个表:filter:用于过滤nat:用于nat功能(端口映射,地址映射等)mangle:用于对特定数据包的修改raw:一般不让iptables做数据包的链接跟踪处理五个链:INPUT:匹配目的地址为本机的OUTPUT:向外转发的FORWARD:需要经过本机的数据包PREROUTING:路由前,用于修改目的地址(DNAT)POSTROUTING:路由后,
2015-07-01 12:12:01 462
转载 MySQL-Proxy实现MySQL读写分离
本文出自 “李振良的技术博客” 博客,此出处http://lizhenliang.blog.51cto.com/7876557/1305083工作拓扑:MySQL Proxy有一项强大功能是实现“读写分离”,基本原理是让主数据库处理写方面事务,让从库处理SELECT查询。环境描述: 操作系统:CentOS6.3_x64 主服务器Master:192.168.0.202 从服务器Slave:19
2015-07-01 11:14:46 804
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人