- 博客(9)
- 资源 (24)
- 收藏
- 关注
原创 运行hdfs的wordcount程序时出现的错误
在运行wordCount程序时,出现了如下的错误:16/03/29 17:30:10 ERROR security.UserGroupInformation: PriviledgedActionException as:admin cause:org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path do
2016-03-29 17:31:12 1725
原创 对HDFS的底层实现原理认识
1.RPC 1.1 RPC (remote procedure call)远程过程调用. 远程过程指的是不是同一个进程。 1.2 RPC至少有两个过程。调用方(client),被调用方(server)。 1.3 client主动发起请求,调用指定ip和port的server中的方法,把调用结果返回给client。 1.4 RPC是hadoo
2016-03-24 18:01:27 1968
原创 对hadoop的一些命令总结
1.对hdfs操作的命令格式是hadoop fs 1.1 -ls 表示对hdfs下一级目录的查看 1.2 -lsr 表示对hdfs目录的递归查看 1.3 -mkdir 创建目录 1.4 -put 从linux上传文件到hdfs 1.5 -get 从
2016-03-24 18:00:42 656
原创 Linux伪分布式安装心得
1.hadoop的伪分布安装1.1 设置ip地址 执行命令 service network restart 验证: ifconfig1.2 关闭防火墙 执行命令 service iptables stop 验证: service iptables status1.3 关闭防火墙的自动运行 执行命令
2016-03-24 17:59:18 1195
原创 对于Linux的初级使用
1.通过远程工具登陆到linux后,所在的位置是当前登录用户的家目录(home directory)。2.家目录的符号用~表示。3.linux的文件系统是一个树结构。 linux文件系统的树根成为根目录,使用符号"/"表示。 linux文件系统中使用符号".."表示上级目录。 linux文件系统中使用符号"."表示当前目录。 linux文件系统中,如果文件使用“.”
2016-03-24 17:58:10 722
原创 用FileSystem API来操作HDFS
用URL操作HDFS的时候,编写难度比较大,现在我们用hadoop提供的API来操作,会更方便,不说废话贴代码。package com.hsl.test;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream
2016-03-24 16:05:14 3027
原创 用URL来操作Hadoop
在我们部署好hadoop开发环境的时候,接下来就是学习编写代码,真正的进入Hadoop的世界。首先来看一段代码:package com.hsl.test;import java.io.InputStream;import java.net.URL;import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;import org.a
2016-03-23 11:06:19 2441
原创 在windows下,用eclipse链接hadoop遇到的问题。
在我们配置好eclipse链接hadoop的插件后,需要一系列的配置,现在加入一切都配置好了,但是我们在DFS Locations上传文件的时候回弹出没有权限的错误时,我们可以这样做。在windows的环境变量中加入一个环境变量HADOOP_USER_NAME=root这样eclipse链接hadoop的时候,会以root的用户来链接,这样就有操作权限了。以此来记录我的汗水和经验
2016-03-18 22:04:58 1060
原创 在windows下编辑好Shell脚本,在Linux中运行
今天闲来无事,想要挑战下自己,于是打开Notepad++就开始写了。#!/bin/bashecho "Hello world!"这是我写的第一个Shell脚本程序,看着我都想笑,因为我刚入门。于是乎命名为test.sh,具网上说,Shell脚本都是以这样命名的,这样命名的Shell已经被大家所接受。打开虚拟机中的Linux系统,利用Xftp把这个文件拽到Linux的一个目录下,我
2016-03-15 16:22:46 10553
html导出exce.html
2019-07-09
table-editer可以滑动复制,可以编辑,可以使用日历选择日期的jquery代码实现
2018-12-06
vue写的confirm确认框,loading加载中,message提示消息
2018-12-06
Concurrent.Thread.js多线程执行大批量函数
2018-12-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人