关注
分享
大鱼-瓶邪
工作已签，base杭州，专注毕业，后期更新可能会稍微少一点，还是会和大家一起探讨。
华中科技大学在读研究生。主要做核聚变模拟计算，管理着82个节点的集群，做大数据和机器学习，利用10多个老节点搭建各种环境钻研大数据知识，主要是Hadoop生态圈（HDFS+Spark+Sqoop+HIve+Hbase+Pig+Zookeeper）。<br>也用python做科研数据分析，机器学习。<br>熟悉scala开发<br>本科期间跟随导师做了两年的java web开发，熟悉ssh框架，mysql，oracle数据库
展开
-
深入Zookeeper技术
Zookeeper可以看作是Hadoop生态系统中各个组件的统一协调管理者（分布式协调技术），是为分布式应用所设计的高可用、高性能的开源协调服务：分布式锁服务—&gt;解决分布式环境中的多个进程之间的同步控制，防止造成脏数据。 目的：增加集群的稳定性、持续性、有序性和高效性。 面临的问题:网络的不可靠性 特性：简单、富有表现力、高可用性、松耦合方式、资源库。 Zookeeper集群中各个节...原创 2018-07-26 18:36:17 · 214 阅读 · 0 评论 -
hadoop集群配置zookerper3.4.12
目的配置zookeeper到node80 node81 node82三个节点，保证奇数个 将zookper包拷贝到相应目录下解压、 配置zoo.cfg 保存退出。 注意myid文件必须在dataDir文件路径下，这里取clientport=2182避免防火墙 创建data文件夹， 在data下创建myid输入1，这里是编号，不同机器下的myid内容不一样。 按照zoo.c...原创 2018-07-08 16:25:16 · 437 阅读 · 0 评论 -
Hbase的体系知识及zookeeper搭建hbase集群
集群下的hbase安装见：https://blog.csdn.net/qq_25948717/article/details/80718580 vim hbase-env.sh 做如下修改： export HBASE_MANAGES_ZK=false export JAVA_HOME=/usr/local/jdk1.8.0_172 --------------...原创 2018-07-14 22:35:53 · 2196 阅读 · 0 评论 -
单节点下伪分布式搭建zookeeper集群
下载地址http://mirrors.hust.edu.cn/apache/，解压到/usr/local （sudo tar -zxvf filename -C /usr/local/） sudo mv zookeeper-3.4.12 zookeeper 修改名字， 然后如下，myid表示该节点的zookeeper标号为1 同理创建第二个节点zookeeper 进入到c...原创 2018-06-17 13:27:52 · 579 阅读 · 1 评论