![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式计算/hadoop
文章平均质量分 69
三分球很准真的
dota是一种精神
展开
-
zookeeper C API 的安装和使用指南
1下载 zookeeper-3.3.6.zip编译 /zookeeper-3.3.6/src/c./configure --prefix=/hfx/zookeeper makemake install--prefix 类似这种参数有多中,./configure --help编译好后可以看到如下路径:[hfx@74 ~]$ cd zookeeper/[hfx@74 zookeeper]原创 2013-03-28 17:21:48 · 1877 阅读 · 0 评论 -
eclipse访问hdfs文件系统资源
1 确保eclipse已经安装了hadoop-eclipse-plugin-1.0.2.jar插件2 在eclipse中选择map/reduce在Map/reduce locations点击右键新建new hadoop locations注意:Map/Reduce的port是hadoop配置文件中的mapred-site.xml的 mapred.job.tracker原创 2013-04-24 17:21:21 · 1095 阅读 · 0 评论 -
zookeeper应用——集中配置管理系统的实现
1 场景描述参考http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/index.html,实现自己的集中配置管理系统。术语:配置管理(Configuration Management)一个带配置的服务程序,部署在若干台机器上,如果配置发生了变化,接下去要进行的操作是停止所有机器上的该程序,修改每一台机器上该程序原创 2013-04-24 13:23:18 · 5658 阅读 · 1 评论 -
zookeeper应用——简单统一命名服务实现
zookeeper的应用在http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/index.html上已经列举出来,本文根据自己业务需要,实现了公司的统一命名服务。统一命名服务(Name Service)分布式应用中,通常需要有一套完整的命名规则,既能够产生唯一的名称又便于人识别和记住,通常情况下用树形的原创 2013-04-24 13:13:23 · 3710 阅读 · 1 评论 -
sqlserver数据导入hdfs和hive的解决方案
方法一: 环境:win7+sqlserver2008工具:bcp测试效率:新闻数据库,10 000 000行,25.8G导出时间:约2个小时每秒约1326行 方法二: 用循环执行sql语句,分段写入文件。 1 Bcp介绍bcp 实用工具可以在 Microsoft SQL Server 实例和用户原创 2013-03-28 17:21:38 · 997 阅读 · 0 评论 -
zookeeper c api 常见变量注释
参考 include/zookeeper.hWatches1)Zookeeper 所有的读操作——getData(), getChildren(), 和 exists() 都 可以设置监视(watch),监视事件可以理解为一次性的触发器2)客户端只有首先看到了监视事件后,才会感知到它所设置监视的 znode 发生了变化3)数据监视和子节点监视(data watches and child wa原创 2013-03-28 17:21:54 · 759 阅读 · 0 评论 -
zoo_add_auth 参数无效问题
利用zookeeper c api进行zk实例的初始化和权限添加时,喷到了一个情况:如代码所示zk = zookeeper_init(url.c_str(), watcher, 30000, 0, 0, 0); if(zk != NULL) { AC_INFO("zk connect sucess, hostip=%s", url.c_str()); }原创 2013-03-28 17:21:52 · 1101 阅读 · 0 评论 -
hbase配置详解
1 准备工作因为我只有一台机器,所以,一切都成为了伪分布,但是,其实和集群是一样的啦。在hbase配置之前,先确定自己的linux上有两个前提——hadoop运行环境和zookeeper运行环境我的环境如下:hadoop-1.0.2zookeeper-3.3.6这些配置这里不进行叙述,确保两者都正常运行;这些东西对hbase配置有用的东西如下:hadoop里core原创 2013-03-28 17:21:59 · 744 阅读 · 0 评论 -
行存储和列存储
目前大数据存储有两种方案可供选择:行存储和列存储。业界对两种存储方案有很多争持,集中焦点是:谁能够更有效地处理海量数据,且兼顾安全、可靠、完整性。从目前发展情况看,关系数据库已经不适应这种巨大的存储量和计算要求,基本是淘汰出局。在已知的几种大数据处理软件中,Hadoop的HBase采用列存储,MongoDB是文档型的行存储,Lexst是二进制型的行存储。在这里,我不讨论这些软件的技术和优缺点,只围转载 2013-03-29 17:09:31 · 724 阅读 · 0 评论