Hadoop
光滑的秃头
星星之火,可以燎原。
天道酬勤,勇往直前。
展开
-
Linux平台下hadoop运行jar出错
在使用putty远程连接到hadoop 服务器后,传入一个上传本地文件到hdfs上的jar包,运行jar包出错。原创 2018-05-30 19:39:05 · 2421 阅读 · 0 评论 -
Linux下定时执行脚本实例
在Linux下我们用crontab来实现定期执行脚本。查看crontab 输入命令:cat /etc/crontabcrontab -u //设定特定用户的定时服务crontab -l //列出当前用户定时服务内容 crontab -r //删除当前用户的定时服务crontab -e //编辑当前用户的定时服务在设定编辑之前都建议列出服务查看一下:crontab -l显示有一个已经设定好的...原创 2018-05-31 10:49:20 · 66679 阅读 · 5 评论 -
JAVA上传文件至HDFS代码及对应jar包
最近需要将本地采集到的文件上传到远程服务器的HDFS文件系统当中,弄了很久,找代码,找JAR包,很麻烦,记录一下。 源码部分很简单:import java.io.BufferedInputStream;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStream;impor...原创 2018-07-03 19:03:10 · 2987 阅读 · 0 评论 -
JAVA 远程连接HBase数据库所遇到的坑
Hbase是安装在另一台LINUX服务器上的,需要本地通过JAVA连接HBase数据库进行操作。由于是第一次接触HBase,过程当中百度了很多资料,也遇到了很多的问题。耗费了不少时间才成功连接上。特记录下过程当中遇到的问题。JAVA连接HBase代码如下:首先通过POM将需要的JAR包导入。如果怕版本不一致,可以将安装HBase的lib里面的jar导入程序当中<dependen...原创 2018-08-16 17:22:18 · 33624 阅读 · 6 评论