- 博客(12)
- 资源 (1)
- 收藏
- 关注
原创 Ubuntu 16.04系统下以太坊Truffle框架搭建V0.1
之所以题目里面有个V0.1,是因为尝试了一天后,在不知道什么原理的情况下,搭建部署成功,特将搭建过程记录于此;基础环境:操作系统:Ubuntu16.04安装步骤如下:1、安装依赖(我的机器上已经有依赖,所以没有执行下面命令)g++安装,执行如下命令:apt-get install g++libssl-dev安装,执行如下命令:apt-get install libs
2017-10-19 19:44:25 1721 1
原创 hadoop集群启动后,datanode节点上jps后NodeManager无法启动
hadoop版本2.7.2主要原因:yarn-site.xml配置问题: 每个nodemanager上可以用的内存大小Amount of physical memory, in MB, that can be allocated for containers. 注意:我的NM虚拟机是1G内存,1核CPU,当该值配置小于1024时,NM是
2016-03-15 21:50:26 8461 1
转载 HDFS API文件上传报错 Exception in thread "main" .......: Wrong FS: file:///
HDFS API文件上传,fs.default.name配置的关键性转连接http://www.codeweblog.com/hdfs-api%E6%96%87%E4%BB%B6%E4%B8%8A%E4%BC%A0-fs-default-name%E9%85%8D%E7%BD%AE%E7%9A%84%E5%85%B3%E9%94%AE%E6%80%A7/
2016-03-15 18:26:32 509
原创 no datanode to stop
最近在启动hadoop时候,发现slave节点的datanode没有启动(slave节点中使用jps命令未发现DataNode进程),然后执行stop-all.sh时候,发现no datanode to stop,后来查找原因,发现是由于多次执行hadoop/bin目录下的hdfs namenode -format原因造成的,多次格式化造成namespaceID不一致,解决方案有两种1、修改s
2016-03-14 10:30:20 1082
原创 ubuntu 14.04 下搭建hadoop-2.7.2
本人采用三台虚拟机搭建hadoop环境,其中在/etc/hosts文件中的配置为主机Ip1 hadoop1(用作master)主机Ip2 hadoop2(用作slave)主机Ip3 hadoop3(用作slave)搭建过程:1、创建hadoop用户(1)、搭建集群的时候,最好在统一用户下操作,包括hadoop问价夹的位置,java环境变量的位置等,在一台机器部署好了基本环境
2016-03-10 18:33:47 724
原创 zookeeper学习整理
1、什么是zookeeper?官方定义:ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。就目前的了解,zookeeper是实现数据一致性的工具,并在数据一致性的基础上,实现各类应用场景。Zookeeper是基于paxos算法实现的基于消息传递的一致性算法,一个节点要成为leader,必须
2016-03-08 17:15:05 838
转载 zookeeper 系列文章
最近学习zookeeper,看了很多资料,想在csdn上留存文章,以便翻阅学习本文转自:http://nileader.blog.51cto.com/1381108/1068033 ,作者很牛,如要转载,请转发连接《ZooKeeper快速搭建》http://nileader.blog.51cto.com/1381108/795230《ZooKeeper Java
2016-02-24 16:21:51 462
原创 有多少想法可以不同
昨晚饭后在校园里走着,脑海里一直在想有没有一种好的方法可以有效的做文本聚类,突然想到可以根据文本主题把文本聚到一起,因为尽管文章用词不同,可是事件是客观存在的,时间、地点、人物是不变的,顿时心情很是激动,于是速速回到实验室,在百度上一搜,恰好有一篇《一种基于主题的文本聚类方法》,心情很是失落,读之阅之,字字如刀割。于是,便想人与人之间到底有多少不同,我常想人与人的不同之处在于思想不同,意念不同,却
2013-03-24 13:41:14 571
原创 eclipse快捷鍵失效的一種解決方法
可以將workplace下的.metadata刪除,然後重啟eclipse,原路徑保持不變,再把項目重新導入即可,已驗證
2013-02-24 23:02:02 468
原创 Hadoop如此之火,我该如何选择?
很长的一段时间内,不断的听到关于Hadoop的各种各样的信息,学校的报告,csdn的各种会议,各种专家的预测。。。。在不久的将来,Hadoop将会遍布各个角落,因为现在进入了大数据时代,与之相关的可能会有数据挖掘,机器学习等内容的跟进,所以自己是不是也要尽快的了解学习这方面的知识呢,这个在未来的几年里应该有一个比较好的就业环境的吧?????
2012-12-02 21:22:04 393
mysql-connector-java-5.1.22.tar.gz
2012-09-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人