2015年09月_shj1119

原创 hadoop启动dfs的warn问题解决

1 问题在启动dfs，start-dfs.sh和hdfs dfs -ls /等命令执行的时候，一直出现WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable2 原因增加

2015-09-30 17:35:28 1701

原创 idea languagelevel问题

发现用idea导入新工程或者工程刷新后，language level总是变成jdk1.5。很多overwrite的错误，手工改成1.6报错信息就消失了。再次点击maven projects中的刷新按钮或者做compile操作，languagelevel又会变成jdk5.后来根据网上资料在pom.xml中增加如下内容就好了，如果已经存在build属性，则在现有的build属性的plugi

2015-09-30 16:00:20 3229

原创 kafka与storm集成测试问题小结

1 拷贝kafka依赖jar包到storm lib[root@hdmaster libs]# cp kafka_2.10-0.8.2.1.jar /opt/apache-storm-0.9.5/lib/[root@hdmaster libs]# cp scala-library-2.10.4.jar /opt/apache-storm-0.9.5/lib/[root@hdmaster

2015-09-30 11:12:26 16500 2

原创 kafka安装以及集成storm测试

1 zookeeper安装zookeeper的安装很简单，只需要解压后，修改下zoo.cfg，配置dataDir和server.1=节点1:2888:3888server.2=节点2:2888:3888server.3=节点3:2888:3888然后在每个节点指定的datadir下建立myid文件并写入编号同时注意修改每个节点的hosts文件启动命令，需要三个节点分别启

2015-09-30 11:09:04 1060

原创 zookeeper安装小记

1 修改hosts，添加集群中每个节点的映射，注意每个节点都要修改2 解压后cd conf，cp zoo_sample.cfg zoo.cfg打开zoo.cfg 修改一下data.dir的路径，然后增加server.1=....server.2=....server.3=3 在1,2,3对应的节点上的data.dir目录下，用vim myid创建文件，里边只写入一行，即对应的序号，1,

2015-09-28 17:52:47 296

原创关于nohup及&命令的资料

看了些资料，发现这几句话说的最清楚，来自百度百科。nohup命令：如果你正在运行一个进程，而且你觉得在退出帐户时该进程还不会结束，那么可以使用nohup命令。该命令可以在你退出帐户/关闭终端之后继续运行相应的进程。nohup就是不挂断的意思( no hang up)。如果使用nohup命令提交作业，那么在缺省情况下该作业的所有输出都被重定向到一个名为nohup.out的文件中，除非

2015-09-28 17:51:41 309

原创 storm安装小记

1 所需安装软件0.8系列的底层通信用的是zeromq，所以在安装的时候，需要安装zeromq等软件，也是网络上可以找到的很多storm安装资料中都会提到的一些软件 0.9系列底层开始支持jetty通信，但默认还是zeromq，所以要改成jetty的话，需要在storm.yaml中添加一些配置项我安装的时候下载的截止目前最新版本0.9.5，貌似默认就是jetty通信，在安装的时候

2015-09-28 17:50:19 1763

原创 url获取参数的正则表达式

1 如果X参数值为纯数字(?:^|\?|&)X=(\d*)(?:&|$)?:的作用：只匹配不捕获结果，即不返回值，不占空间，是这意思不？^即开头字符，代表X=之前没别的字符|是或者的意思\?即？字符本身&即&字符本身X=前面的这些正则的意思即是X=前面没有任何字符或者有一个？或者&即URL前半部分格式为 X=或者http://aaaaa?X=或者http://aaa

2015-09-22 17:53:30 1170

原创 hive建表存储格式造成的问题

用create table tableY as select 字段A，regexp_extractA,字段B，regexp_extractB from tableX 之后，数据比原来多了5条经查找，这5条都是其中一个字段为NULL，另外的字段全部=''百思不得其解后查询了下tableY建表的存储格式是默认的text，而tableX建表时用的是rcfile将t

2015-09-22 17:39:44 789

原创 nc工具

跟同事学的，发现在linux上上传下载文件，用rz和sz命令特别慢，后来请教了大神这个工具叫nc，在windows上装一个win版本，linux本身会自带此命令然后在linux上执行 nc -l 使用的端口号（空闲的端口号都可以） > 要接收的文件名在windows上cmd窗口中运行：nc linux的ip地址使用的端口号(空闲的端口号，与linux保持一致) 这样上传文件会很快

2015-09-18 10:46:09 860

原创 idea改字体大小

分为UI和文本框两种字体设置UI界面的字体大小，在文本框中字体，即代码字体大小，在Editor->Colors & Fonts->Font中，需要先点击save as新建一种模式，在里边调整Size即可。

2015-09-18 10:28:43 944

原创 windows上jdk改版本后，环境变量不生效

查网络解决的：安装了1.6，重新设置了环境变量，可java -version依然显示为jdk1.7原因：按path上的目录挨个找下就知道了这是因为jdk1.7把java.exe拷贝一份在c:\windows\system32，而这个路径在path的第1个找到对应文件删除即可

2015-09-18 10:27:05 1603

原创 shell和mysql使用总结

1 判断字符串是否相等，if [空格$x空格=空格$y空格]; thenfi注意，=左右的空格必不可少2 判断整数是否相等，用-eq，不相等用-ne3 ``跟$()都是执行shell命令的意思4 日期函数$(date +'%Y-%m-%d %H:%M:%S')用+指定格式用-d指定时间运算，比如往前一天$(date -d '-1 day')一般-d都要结

2015-09-18 10:25:34 897

快乐的瑾