- 博客(21)
- 收藏
- 关注
原创 hadoop windows下调试报错的分析org.apache.hadoop.io.nativeio.NativeIO$Windows
升级了服务器上hadoop版本到2.7.2,原来是2.4.1,响应的修改了pom.xml的hadoop版本。本地运行时出现如下错误:java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V
2016-03-24 17:14:23 11464 6
原创 nginx配置tomcat https websockets等问题汇总解决方式
1.配置nginx反向代理到tomcat上,最好是在tomcat的server.xml上的 加入address="127.0.0.1"来限制其他IP访问然后在 ngix上配置反向代理配置如下, upstream xxx_server { server 127.0.0.1:8888 weight=1 max_fails=2; keepalive 1
2015-12-23 13:53:15 5209
原创 mysql启动不了的问题总结
启动mysql报MySQL is running but PID file could not be found可能的原因1是mysql下有某个数据很大的文件太大,无法加载。ps aux|grep mysqlkill -9 所有进程然后删除那个文件。数据目录默认在/var/lib/mysql 找到应用的数据名,进入目录删除xxxx.ibd文件,重启mys
2015-09-23 14:45:57 483
原创 hadoop JOB错误日志查找
到hadoop的cluster页面找到 application,如 application_1438588979245_0136,点击进入cluster/app/application_1438588979245_0136点击History出现地址http://server3:xxxx/jobhistory/job/job_1438588979245_0
2015-08-13 10:17:51 1810
原创 DT大数据梦工厂 第82讲 Scala中List的ListBuffer是如何实现高效的遍历计算的 学习总结...
DT大数据梦工厂学习总结系列视频来自王家林老师的DT大数据梦工厂系列51CTO视频:http://edu.51cto.com/lesson/id-71305.html腾讯视频:http://v.qq.com/boke/page/f/0/8/f0162pgyfz8.html 土豆视频:http://www.tudou.com/programs/view/WBW9Ki9Y_1g...
2015-08-11 00:20:08 141
原创 scala actor swing代码实践
信息来源于 DT大数据梦工厂微信公众账号:DT_Spark【DT大数据梦工厂视频】《第72讲:Scala界面事件处理编程实战详解》视频观看地址:http:百度网盘:http://pan.baidu.com/s/1o6FvweQ 本期视频重点:
2015-07-31 18:12:05 637
转载 linux free 命令解释学习
转载 源地址 http://blog.sina.com.cn/s/blog_5f1bf8510100cwig.htmlfree 命令相对于top 提供了更简洁的查看系统内存使用情况:# free total used free shared buffers cached Mem: 255988 231704 24284
2015-07-09 16:40:00 390
原创 centos mysql移动存储目录
mysql 默认rpm安装数据目录在/var/lib/mysql下默认配置在/usr/my.cnf修改数据目录的方式1.修改my.cnf下的datadir 将/var/lib/mysql的文件cp -rf到修改的目录地址修改新的数据目录所有人 chown mysql:mysql ./* -R
2015-07-02 15:56:32 370
原创 hadoop 运维问题汇总(持续更新中)
1. hadoop 2.4 运行mapreduce 报10020端口拒绝连接,是因为jobhistory进程未启动,需要手动到sbin/mr-jobhistory-daemon.sh start historyserver2. hadoop 2.4 运行时发现文件无法读取,safemode in on 可通过 bin/hdfs dfsadmin -safemode get 获取
2015-03-06 15:14:04 561
原创 hadoop no xxxx to stop的原因和解决方法
hadoop 2.4.1 使用sbin/stop-all.sh时候报错 no namenode to stop no resourcemanager to stop等错误jps查看发现进程并未关闭。网上参考资料,总结发现是默认hadoop pid文件是存放在/tmp内,但tmp 每10天会被清理一次。解决的方法是kill掉对应的进程修改 hadoop-env.sh中 pid
2015-03-05 16:18:30 1468
原创 linux 删除文件太多
rm -rf 一般能解决问题遇到报错,可以用find通过找出早于多少天前的文件删除。如下13天前修改的文件删除find ./ -mtime +13 -print|xargs rm -vf如果只是要删除13天前那一天的文件,去掉+号特别注意:这个13天前会精确到时分秒,也就是执行是2月15日 18:05,则2月12号的18:05前的文件被会被删除。18点06分以后的还存在。
2015-02-14 18:09:17 2606
原创 ClientAbortException: java.net.SocketException: Broken pipe 的原因和测试方法
ClientAbortException: java.net.SocketException: Broken pipe
2014-12-25 11:01:20 6882 2
原创 mysql 连接关闭问题和解决方式
spring + hibernate +mysql遇到一个异常 Caused by: org.hibernate.TransactionException: JDBC begin transaction failed: at org.hibernate.engine.transaction.internal.jdbc.JdbcTransaction.doBegin(JdbcTran
2014-12-24 13:14:52 1611
原创 linux基本操作(持续更新)
一.查看当前操作系统版本信息 1. cat /proc/version 2. uname -a 3.lsb_release -a二.Linux查看版本当前操作系统发行版信息1.cat /etc/issue 2.cat /etc/redhat-release三.Linux查看cpu相关信息,包括型号、主频、内核信息等 1.
2014-12-19 10:10:52 420
原创 cron 表达式的误区
今天用java quartz 写表达式,常规的这里就不介绍了,网上很多笔者希望做到每五分钟进行一次,由于业务原因,希望延迟几分钟才开始进行。一开始写 0 4/5 * * * ?后来想想如果服务是这个小时的第5分钟后启动,岂非要等到下个小时04分才启动,公司系统试用中,经常会修改BUG重启,这样会带来问题。后来做试验,发现不是笔者之前想的那样,如果服务在06分启动,依然还是会在
2014-12-12 12:50:30 429
原创 hibernate 异常场景分析(一)
spring 3+ spring mvc + hibernate 4.1 使用中发现日志出现这个异常。Caused by: org.springframework.orm.hibernate4.HibernateSystemException: Unknown service requested [org.hibernate.stat.spi.StatisticsImplement
2014-12-10 15:17:27 3721
原创 spring mvc接受post数据过大,参数获取为空的解决方法
最近用jetty 跑spring mvc接收post请求(post中数据很大)。出现数据无法获取到的问题。如 @RequestMapping(value = "/receive", method = RequestMethod.POST)public receive(String a,String b,String c) 其中 a是从post中获取,先前数据量小的时候,可
2014-11-25 17:00:48 16692
原创 转: Java API 设计准则
新年将到,决定开始使用这个blog,学习其他大牛的开发水平,这里用一篇转载开始 :D Java API 设计准则在Java API设计中有着许多的各种规则与折衷考量,和其他所有复杂任务一样,它考验着我们的记忆力及脑力。这里我找到了一个对正在设计Java API的软件开发人员而言非常不错的准则列表,其中介绍的一些准则可能是很明显的,又或者不那么显眼,但确实非常不错,希望你会喜欢。 ...
2012-01-20 15:39:57 109
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人