- 博客(7)
- 资源 (17)
- 收藏
- 关注
原创 Hadoop的text通过set(Text t)或set(String s),getLength与getBytes().length的值可能不同的原因
示例1:Text t = new Text("hadoopp");t.set(new Text("pig"));byte[] b = t.getBytes();for (byte bb : b)System.out.print(bb + " ");System.out.println();System.out.println(t.getLength());Syste
2015-07-30 18:55:44 2848
原创 通过http不能访问filesystem的原因
实际案例:我是在windows运行的虚拟机上安装的Hadoop,想通过http://hostname:50070访问分布式文件系统,点击“Browse the filesystem”,无响应。可能原因:在此主机上没有配置Hadoop各个节点的hosts映射信息。可以按照如下方式进行配置:打开此路径:C:\Windows\System32\drivers\etc\
2015-07-24 11:12:30 638
原创 secondarynamenode无法启动
可能原因:localhost地址的IP映射没有配置。方法:编辑namenode节点及各个datanode节点的hosts文件:命令:vi /etc/hosts在第一行添加:127.0.0.1 localhost 即可。
2015-07-19 18:47:50 5140 1
原创 多次格式化namenode,datanode无法启动的解决办法
1.进入datanode节点的主机2.删除各个datanode节点主机的hadoop目录中的:/usr/hadoop/hadoop-root/dfs/data/current/VERSION3.执行 hadoop namenode -format 即可!4.重新启动namenode!
2015-07-19 18:13:51 946
原创 SSH Secure Shell Client用pub key认证登录linux
启动:Edit->settings->Keys点击“Generate New”->重复点下一步接着先要用“密码认证方式登录一下”登录后,再到Edit->Settings->key下,选择”upload”按钮,这步简单吧!接着需要把windows生成的pub文件转为Linux的文件:ssh-keygen -i -f hadoop.pub >>/
2015-07-18 16:43:04 5577
原创 datanode无法启动 或 DFS Used% :100 % 或 Live Nodes
配置文件hdfs-site.xml中的dfs.data.dir属性设置的目录有误,我修改为/home/grid/hadoop1.1.2/hdfs/data,在/home/grid/hadoop1.1.2/目录下执行以下命令,mkdir hdfsmkdir hdfs/datachmod 755 hdfs/data -该属性设置不对的话,日志中会有错误同时把replic
2015-07-17 18:04:15 2299
原创 Hadoop与传统数据仓库的区别
1. 数据仓库业界是否该为Hadoop的迅速崛起而感到担忧甚至恐慌?抑或是该向其敞开热情的怀抱?Cloudera公司的Doug Cutting与Hortonworks公司的Arun Murthy作为Hadoop领域的两位先驱者,在本届Hadoop 2014峰会的问答环节中提出了这样的问题。尽管很多企业开始将数据仓库中的工作负载迁移到Hadoop环境当中,但这种作法仍然没有成为主流。但未来情
2015-07-17 17:53:07 9030
The Practice of Computing Using Python (2nd Ed)(Python入门经典以解决计算问题为导向的Python编程实践)
2017-10-21
Building Machine Learning Projects with TensorFlow(用tensorflow做机器学习项目)
2017-10-21
tensorflow for deep learning.pdf
2017-10-21
Introduction to TensorFlow(tensorflow 入门)
2017-10-21
word2vec.zip
2016-06-27
人工智能及其应用 第4版(蔡自兴).pdf
2016-06-27
concurrency programming in java (java并发编程)
2016-06-27
Hadoop技术内幕 深入解析HADOOP COMMON和HDFS架构设计与实现原理.pdf
2016-01-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人