- 博客(18)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
RSS订阅转载 hadoop2.2.0集群的高可用HA及MapReduce简单配置
hadoop2.2.0集群的高可用HA及MapReduce简单配置http://www.aboutyun.com/thread-6781-1-1.html(出处: about云开发)简介hadoop中的NameNode好比是人的心脏，非常重要，绝对不可以停止工作。在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了
2016-02-25 18:32:55
970
转载 Spring之——quartz集群的问题及解决方案(基于Spring4.0+quartz2.2.1的集群架构)
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/49150267特别注意一点，与Spring3.1以下版本整合必须使用Quartz1，最初我拿2.2.1的，怎么搞都报错：Caused by: org.springframework.beans.factory.CannotLoadBeanClassException:
2016-02-25 14:22:14
1381
1
转载 quartz在集群环境下的最终解决方案
在集群环境下，大家会碰到一直困扰的问题，即多个 APP 下如何用 quartz 协调处理自动化 JOB 。大家想象一下，现在有 A ， B ， C3 台机器同时作为集群服务器对外统一提供 SERVICE ：A ， B ， C 3 台机器上各有一个 QUARTZ ，他们会按照即定的 SCHEDULE 自动执行各自的任务。我们先不说实现什么功能，就说这样的架构其实有点像多线程。
2016-02-25 14:13:47
1304
转载 Hadoop命令大全
1、列出所有Hadoop Shell支持的命令 $ bin/hadoop fs -help2、显示关于某个命令的详细信息 $ bin/hadoop fs -help command-name3、用户可使用以下命令在指定路径下查看历史日志汇总 $ bin/hadoop job -history output-dir这条命令会显示作业的细节信息，失败和终止的任务细节。
2016-02-25 14:01:32
635
原创 hive纪要
用文件执行hive查询1、在系统终端下[root@cloud4 shell] Hive -f /path/to/file/withqueries.hql[root@cloud4 shell] Hive -e ‘短sql语句’ 2.在hive shell中用户可以使用source命令执行一个脚本Hive>Source /path/to/file/withq
2016-02-24 17:20:09
898
转载 看懂UML类图和时序图
这里不会将UML的各种元素都提到，我只想讲讲类图中各个类之间的关系； 能看懂类图中各个类之间的线条、箭头代表什么意思后，也就足够应对 日常的工作和交流； 同时，我们应该能将类图所表达的含义和最终的代码对应起来； 有了这些知识，看后面章节的设计模式结构图就没有什么问题了；本章所有图形使用Enterprise Architect 9.2来画,所有示例详见根目录下的design_patterns.E
2016-02-20 21:22:11
515
转载 Storm集群常用批量操作命令
假设集群有100个节点，主机名分别为node1，node2，node3……node100。对于node1节点ssh到其他节点，已经实现了ssh无密码访问。1.关闭集群的防火墙（运行在root用户下）For i in (seq 1 100 ); Do ssh node$i “hostname; service iptable stop; ch
2016-02-19 15:07:46
1297
转载 ssh无密码验证登陆配置
2、SSH无密码验证配置 Hadoop运行过程中需要管理远端Hadoop守护进程，在Hadoop启动以后，NameNode是通过SSH（Secure Shell）来启动和停止各个DataNode上的各种守护进程的。这就必须在节点之间执行指令的时候是不需要输入密码的形式，故我们需要配置SSH运用无密码公钥认证的形式，这样NameNode使用SSH无密码登录并启动DataName进程，同样原
2016-02-19 10:21:45
4746
转载 storm单词计数实例
storm有两种运行模式(本地模式和集群模式) 1、 首先创建一个类似于HelloWorld的简单程序，以便进入storm的大门，包结构如下： 2、从包结构可以知道，这是一个Maven Project，pom.xml的内容如下： http://maven.apache.org/POM/4.0.0"
2016-02-19 01:25:57
2096
转载 Storm本地模式环境问题
Storm本地模式环境问题运行从github上把 storm-starter的代码 fork下来https://github.com/nathanmarz/storm-starter将m2-pom.xml重命名为pom.xml，编译一下，导入eclipse里 运行第一个例子ExclamationTopology 问题1java.net.SocketExc
2016-02-19 01:06:57
6160
转载 ZooKeeper集群环境部署
ZooKeeper简介ZooKeeper是针对分布式应用的高性能协调服务，是高效可靠的协同工作系统，提供的功能包括配置维护，名字服务，分布式同步，组服务等。 ZooKeeper的下载和部署1.1 ZooKeeper的下载下载地址：http://zookeeper.apache.org/releases.html#download 1.2 ZooK
2016-02-18 21:47:05
673
转载 Hadoop、Storm、Spark这三个大数据平台有啥区别，各有啥应用场景？
Storm与Spark、Hadoop这三种框架，各有各的优点，每个框架都有自己的最佳应用场景。所以，在不同的应用场景下，应该选择不同的框架。Storm是最佳的流式计算框架，Storm由Java和Clojure写成，Storm的优点是全内存计算，所以它的定位是分布式实时计算系统，按照Storm作者的说法，Storm对于实时计算的意义类似于Hadoop对于批处理的意义。Storm的适用
2016-02-18 17:26:25
22734
转载 hadoop+zookepper实现namenode的高可用
Hadoop+zookeepker安装与配置: 在hadoop-env.sh中添加export JAVA的环境变量修改hostname文件的名称，/etc/hosts文件配置主机名和ip的映射关系，将mstaer，slave的主机名和ip地址都添加进来 配置ssh免密钥配置Ssh-keygen –t rsa在./.ssh文件中生成两个文件id
2016-02-18 16:32:37
887
转载 storm提交拓扑后出现Executor topology_name not alive的问题
1 bolt不停重启，excutor无法启动。nimbus日志类似如下（）， 2014-03-12 10:55:06 b.s.d.nimbus [INFO] Executor MITAS3-74-1394565794:[3434] not alive2014-03-12 10:55:06 b.s.d.nimbus [INFO] Executor MITAS3-74-1394565794
2016-02-18 16:26:00
2986
转载 Storm命令行客户端
在Linux终端直接输入storm，不带任何参数信息，或者输入storm help，可以查看Storm命令行客户端（Command line client）提供的帮助信息。 Storm 0.9.0.1版本在Linux终端直接输入storm后的输出内容如下：Commands:activateclasspathdeactivatedev-zook
2016-02-18 15:34:26
897
转载 Storm实战常见问题及解决方案
文档说明该文档包涵了storm实战中经常遇到一些问题，及对应解决方案。这个文档是群里一个朋友在学习storm，并实战storm中遇到的一些问题，及和群里其他朋友一起交流给出的对应解决方案，并由他整理好，委托我发布出来（也算是交流者之一），供大家参考，希望能对大家有所帮助。感谢 某某（哈哈 鉴于部分原因，不便透露名字~~~~！）…问题锦集1 关于Storm集群1.1 关于
2016-02-18 15:27:38
2354
转载 oracle重建索引
一：考虑重建索引的场合1：表上频繁发生update,delete操作2：表上发生了alter table ..move操作（move操作导致了rowid变化）二：判断重建索引的标准 索引重建是否有必要，一般看索引是否倾斜的严重，是否浪费了空间； 那应该如何才可以判断索引是否倾斜的严重，是否浪费了空间，如下：1， 对索引进行结构分析Ana
2016-02-17 15:24:39
905
转载 Weblogic端口修改方法
Weblogic端口修改方法Weblogic安装成功后建立的新域的端口号默认为7001，如果仅发布一个应用程序，此时不必对此默认端口号进行修改，若要发布两个或两个以上的应用程序，则此时需要建立多个域，而且这多个域的端口号要有区分。Weblogic端口修改方法主要有以下两种方式：1. 直接在Weblogic控制台中进行修改1.1 登录控制台选择Enviroment->
2016-02-01 10:14:46
3330
搭建eclipse+tomcat开发环境.pdf
2012-12-03
学习微服务必须了解的一些通用模式
2021-03-29
TA创建的收藏夹 TA关注的收藏夹
TA关注的人