- 博客(20)
- 收藏
- 关注
RSS订阅原创 hadoop2.7.2中datanode无法启动，日志报错java.net.BindException: Port in use: localhost:0
namenode启动正常，每个从节点上nodemanager也正常启动，就是从节点上服务datanode无法全部正常启动，有时候只有一个节点上的datanode起来了，其他都没启动，或者从节点上的datanode全部无法启动，在slave节点上查看日志 vi hadoop-root-datanode-slave2.log 发现日志中报有如下错误：java.net.BindException:
2017-07-27 11:21:05
5882
原创 Java从hdfs上读取文件中的某一行
package test;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache
2016-06-30 14:35:49
12624
2
原创 在虚拟机centos系统中，eclipse无法加载hadoop插件
在centos中，将hadoop-eclipse-plugin-1.2.1.jar放入eclipse的plugins的文件夹中，但是，eclipse无法加载hadoop-eclipse-plugin-1.2.1.jar，使得eclipse中Windows->Preferences中没有Hadoop Map/Reduce选项：（即hadoop插件没有加载上，eclipse无法对作业进行集群提交）
2016-06-28 18:10:45
1720
1
原创 在虚拟机Centos6.5中，eclipse总是闪退
据说eclipse闪退是和Firefox浏览器的插件不兼容造成的在eclipse安装目录中编辑eclipse.ini加入以下几句话保存-Dorg.eclipse.swt.browser.DefaultType=mozilla-Dorg.eclipse.swt.browser.UseWebKitGTK=true重启eclipse问题解决
2016-06-28 18:01:51
2700
1
原创 SpringMVC+Hibernate将连接oracle的数据库换成MySQL，报错如何解决
将连接oracle的数据库换成MySQL，一般情况下需要更换的配置有：hibernate.dialect=org.hibernate.dialect.MySQLDialect 、connection.driver_class=com.mysql.jdbc.Driver 、connection.url=jdbc:mysql://10.61.8.23:3306/DB ；更换完这些配置后启动tomca
2016-06-23 15:32:14
2666
原创 Zabbix 安装配置文档Server+Client+Web
在网上找了很多配置文档，有些不全，有些有错，下面这些都是亲身实践过的，供参考配置环境：CentOS7，zabbix2.4.7一、Zabbix的部署准备1、LAMP环境准备与配置这里的依赖包均通过yum安装#yum -y install gcc gcc-c++ autoconf httpd php mysqlmysql-server php-mysql httpd-manua
2016-01-08 09:25:38
2449
原创 hadoop中有时运行会提示mapper找不到
当hadoop运行时出现mapper找不到，或者不存在：可以把该java文件打jar包比如：运行WorldCount.java文件时，出现上述错误，则可以将该Java文件export出jar格式，再把该jar包buildpath----------------------------------------------------------------------------------
2015-12-17 10:35:29
3040
原创 在hadoop中如何进入本地调试、及如何设置split的大小
//在mapreduce中，如果想进入debug模式进行调试，则需要在main函数中去掉下面一行代码：Configuration conf = new Configuration();conf.set("mapred.job.tracker", "master:9001");//这行不能要，否则进入集群模式，不能单步调试，不设置jobtracker默认进入本地模式//在hadoop中设置每个spl
2015-12-16 15:36:14
923
转载 Hadoop MapReduce处理小的压缩文件：基于CombineFileInputFormat
处理压缩小文件的，不是压缩文件，代码也是可以用的，只是这时候每个split是一个小文件其他就不在多说了，只是提供3个java文件，也只是些参考CompressedCombineFileInputFormat .javapackage compressedCombineFile;import java.io.IOException;import org.apache.ha
2015-12-14 10:50:44
583
转载 Hadoop MapReduce处理海量小文件：基于CombineFileInputFormat（每次往map中读入1行）
后来想想还是把CombineFileInputFormat每次读入一行的代码附上吧CombineSmallfileRecordReader .javapackage CombineLine;import java.io.IOException;import org.apache.hadoop.fs.Path;import org.apache.had
2015-12-14 10:39:29
803
原创 Hadoop MapReduce处理海量小文件：基于CombineFileInputFormat（整个小文件读入到map中）
CombinFIleInputFormat通常默认情况下是把合并后的文件一行一行读入到map中，在CombineSmallfileRecordReader中屏蔽的地方是一行一行读入到map中的,这里给改成了每次往map中读入整篇文章CombineSmallfileInputFormat.javapackage combinAllFile;import java.io.I
2015-12-14 10:21:51
860
1
原创 Hadoop MapReduce处理海量小文件（每次整个小文件整体读入到map）：基于FileInputFormat
WholeFileInputFormat .java 中的代码如下：package AllFileInput;import java.io.IOException;import org.apache.hadoop.io.BytesWritable;import org.apache.hadoop.io.NullWritable;import org.
2015-12-14 09:43:08
751
转载 StringTokenizer类的使用
StringTokenizer是一个用来分隔String的应用类，相当于VB的split函数。1.构造函数public StringTokenizer(String str)public StringTokenizer(String str, String delim)public StringTokenizer(String str, String delim, boolean
2015-11-13 10:18:24
325
原创 每3秒轮换下一张图片，鼠标可以选中数字换图片，在网上找了好多js写的代码，但是粘上之后总是实现不了效果，这是完整代码，粘上之后完全能使用，方便大家使用（这是jquery实现的翻动功能，需要先下载个jq
http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">http://www.w3.org/1999/xhtml"> http://sdia.ncut.edu.cn:80/" /> 大规模流数据集成与分析技术北京市重点实验室 *{ font-size:12px
2015-09-16 09:08:33
1244
原创 在extjs的textfield中输入带有特殊字符的字符串，比如/opt/apache-storm-0.9.4/bin/storm ui &但是&符号却无法传递到后台
在ext中{ xtype:'textfield', hideLabel:true, width:'270',
2015-09-01 08:45:09
2510
原创 extjs 中formPanel提交到action后返回json数据到ext中，但是ext页面不进入sucess也不进入failure
extjs 中formPanel提交到action后返回json数据到ext中，但是ext页面不进入sucess也不进入failure的解决方案
2015-08-25 13:41:28
876
原创 tomcat无法连接，./shutdown.sh的时候报connect refuse
10.61.5.37:9080 发现tomcat无法打开，停止的时候又拒绝连接，开启的时候显示启动， 应该输入jps 查看启动了几个tomcat，然后kill 掉已启动的bot的pid，重新启动tomcat就行了，有的时候会启动的时间比较长
2015-08-24 13:46:35
2467
1
原创 在extjs 的tree中联动修改页面，但是页面不出来，还报ct is null或者...is no function
单击这个叶子激活页面之后，再激活其他叶子的页面就冲突，页面就不出来，有时候还报错
2015-08-20 18:46:03
506
原创 在写extjs中一个panel里放了3个grid，但就是不显示页面，后台给出数据，前台也有加载数据
在写extjs中一个panel里放了3个grid，但就是不显示页面，后台给出数据，前台也有加载数据
2015-08-19 20:25:00
1517
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人