- 博客(9)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 Hadoop生态上几个技术的关系与区别：hive、pig、hbase 关系与区别
初接触Hadoop技术的朋友肯定会对它体系下寄生的个个开源项目糊涂了，我敢保证Hive,Pig,HBase这些开源技术会把你搞的有些糊涂，不要紧糊涂的不止你一个，如某个菜鸟的帖子的疑问，when to use Hbase and when to use Hive？....请教了^_^没关系这里我帮大家理清每个技术的原理和思路。Pig一种操作hadoop的轻量级脚本语言，最初又雅
2016-09-28 19:30:32
279
原创 hadoop中System.out.println输出内容的查看
hadoop中System.out.println只有在main方法可以输出到控制台，如果是在map或reduce方法不可以在控制台看到，但是，我们可以在hadoop安装目录下的logs/userlogs/container_****/stdout中看到，如果是在集群环境下，每台机器会有不同的stdout，可以查看完，找到自己希望看到的。
2016-09-23 15:15:20
3010
原创 hadoop 报错Error: java.io.FileNotFoundException: Path is not a file:/xx1/xx2的解决办法
主要原因就是hadoop1.x的FileInputFormat.setInputPaths(job, new Path(input));在hadoop2.x的环境运行导致的，将上述代码用下面两行代码替换即可： FileInputFormat.setInputDirRecursive(job, true); FileInputFormat.addInputPath(job, new Pa
2016-09-23 09:03:55
6030
1
转载 Mapreduce程序中的FileInputFormat.addInputPaths和FileInputFormat.addInputPath方法
写MR过程中经常会遇到多个源路径的输入，我们可以在MR程序主函数中通过FileInputFormat.addInputPaths(job, conf.get("input_dir"))方法来实现，在提交脚本中将多个源的路径用“，”分隔，input_dir=$INPUT_FILE_PATH1,$INPUT_FILE_PATH2 这样在执行MR的时候，输入会将多个源路径全部多为map
2016-09-22 18:27:07
4317
转载 VMware虚拟机中的ubuntu硬盘扩容
1、通过vm的UI界面进行扩容基本上是不行的，至少在我的版本上是这样，各种灰色按钮，各种出错；并且，界面扩容失败后若打不开虚拟机，不要慌，只要你扩容之前的那个硬盘文件（我的是ubuntu64.vmdk，全编一个android项目后39G）还在，基本上是可以恢复的，一定要有耐心哟。另外，如果不是服务器级的硬盘，就不要使用快照了，感觉这个功能很坑爹，非常吃硬盘不说，关键是当它吃完你的硬盘后，你想删除快
2016-09-10 15:33:56
696
转载 hadoop集群只有一个datanode启动问题
之前不懂犯了个低级错误，导致datanode只能启动一个；很是奇怪；首先，之前多次将namenode格式化，导致namenode和datanode的clusterID不一致无法启动datanode注：clusterID在/usr/local/hadoop/hdfs/name/current目录下；解决方案：修改Shadoop1 和 Shadoop2 的data/curren
2016-09-10 14:41:49
1871
转载 8、解压版(绿色版)Tomcat配置
解压版Tomcat配置(本例Tomcat6)：一 配置Tomcat1 下载Tomcat Zip压缩包，解压。 如果增加tomcat的用户名和密码，则修改/conf/tomcat-user.xml 2 修改startup.bat文件： 在第一行前面加入如下两行－－
2016-09-08 11:47:33
631
原创 hadoop 配置SSH无密码访问
Hadoop运行过程中需要管理远端Hadoop守护进程，在Hadoop启动以后，NameNode是通过SSH（Secure Shell）来启动和停止各个DataNode上的各种守护进程的。这就必须在节点之间执行指令的时候是不需要输入密码的形式，所以我们需要配置SSH运用无密码公钥认证的形式，这样NameNode使用SSH无密码登录并启动DataName进程，同样原理，DataNode上也能使用
2016-09-05 21:39:14
465
原创 ubuntu14.04离线安装ssh
1.按以下顺序执行安装sudo dpkg -i openssh-client_6.6p1-2ubuntu1_amd64.debsudo dpkg -i openssh-sftp-server_6.6p1-2ubuntu1_amd64.debsudo dpkg -i libck-connector0_0.4.5-3.1ubuntu2_amd64.debsudo dpkg -i ope
2016-09-05 21:09:55
3793
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人