- 博客(17)
- 资源 (24)
- 收藏
- 关注
转载 对于HDFS的了解和认识
注:引用前辈的文章抛砖迎玉了下,对于以后学习理论的东西更加轻松点。 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了
2016-01-29 13:28:45 5857
原创 虚拟机打不开问题
有时候我们使用的虚拟机中的系统打不开了,或者是在后台运行,找不到窗口来打开了,强制结束进程会看到虚拟机打不开了。千万别慌,这个只是虚拟机记录了系统的一些状态,我们把这个虚拟机所在的目录下的一个文件删除旧可以了。然后再点击虚拟机2步搞定
2016-01-16 16:55:40 2216
原创 在windows下用VNC Viewer连接linux桌面
工作常常要查看linux桌面,这使得linux可以不再身边也能进行操作,相当于这个linux服务器就在身边一样。首先,我们在linux上面安装vncserveryum install tigervnc-server已加载插件:fastestmirror, langpacksbase
2016-01-16 15:15:35 8323
原创 在windows下用浏览器无法访问虚拟机中Linux的hadoop管理页面
在虚拟机中的Linux中配置好Hadoop之后,我们想要在windows下管理hadoop,那么需要在windows环境下访问虚拟机下的hadoop应用程序,但是在访问的时候比如输入 虚拟机域名:50070 或者 虚拟机域名:50030 之后访问失败分析:一种可能是hadoop没有正常启动,有错误,这样就的正确的查看hadoop启动时,在哪一步出错,另一种可能就是防火墙没有
2016-01-15 11:15:23 20852 5
原创 Hadoop 1.x启动服务的顺序学习
在启动hadoop的时候,使用start-all.sh shell命令来启动hadoop,那么具体的内部执行流程是怎么样的,有图有真相接下来我们看下hadoop默认的配置文件的内容要是有耐心,继续接着看下hadoop-env.sh 脚本的执行过程接着会启动dfs执行start-fds.shstart-dfs.sh可以单独运行,也可
2016-01-14 19:55:01 1106
原创 Hadoop 1.x 下载、安装
首先我们下载hadoop的版本,我学习是用的hadoop 1.x的版本如果想要尝试其他版本,课自行选择 下载地址下载完之后,我们上传到Linux上我用Xshell上传,当然也可以用SecureCRT/SecureFX来上传当然,在安装hadoop之前也要先安装jdk,配置环境变量,详情请查看hadoop的具体的安装过程可以
2016-01-14 19:14:29 1431
原创 Linux配置别名
当在使用一些常用的命令的时候,每次都会敲很长的字符,为了方便,常常会配置一些别名来节省重复的时间。首先打开profile文件vim /etc/profilehadoop_start 启动hadoophadoop_stop 停止hadoophadoop_dir 进入hadoop目录hadoop_conf 进入hadoop配置文件目录
2016-01-14 15:55:35 2023
原创 在启动hadoop的时候,总是有警告Warning: $HADOOP_HOME is deprecated
警告看着总是别扭,所有没有警告才能更好。警告如下Warning: $HADOOP_HOME is deprecated在每次启动的时候,或者关闭的时候就会出现,说这个已经过时。。。。很烦,所以只能去掉了。具体如下,进入到hadoop的bin目录,找到hadoop-config.sh修改profile文件,使配置生效在重新启动hadoo
2016-01-14 14:47:44 2023
原创 namenode namespaceID与datanode namespaceID 不一致导致datanode无法启动的问题
在启动hadoop之后,发现如下datanode何在?????在重新启动hadoop的时候,发现了问题,如下这说明datanode启动时出错了我们跟踪这个问题,进入到log文件夹下,找到hadoop-root-datanode-master.logmore hadoop-root-datanode-master.log接下来,就是来
2016-01-14 14:43:51 2410
转载 Hadoop 1.x 、Hadoop 2.x 生态系统学习(复制前辈的文章)
声明:以下内容是复制前辈的文章,查看原文这里有耐心的往下看。。。1、Hadoop生态系统概况(看这个图,就大概知道各个模块是做什么的)Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。Hadoop1.0的核心是HDFS和MapReducehadoop2.0的核心是HDFS和MapReduce,还包括YARN。下图为hadoop的
2016-01-14 13:54:46 1951 1
原创 Hadoop 的发展史和版本
1、hadoop发展历程1)、. 这一切是如何开始的—Web上庞大的数据! 2)、使用Nutch抓取Web数据3)、 要保存Web上庞大的数据——HDFS应运而生4)、如何使用这些庞大的数据?5)、采用Java或任何的流/管道语言构建MapReduce框架用于编码并进行分析6)、 如何获取Web日志,点击流,Apache日志,服务器日志等非结构化数据——fuse,webda
2016-01-13 16:11:27 3643
原创 hadoop到底是什么
一天天都在说hadoop,到底什么才是hadoop呢?1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。[1] Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计
2016-01-06 16:54:08 32152
原创 java.io.EOFException的解决办法
有时我们在非正常关闭Tomcat的时候,下次启动可能会出现以下错误EOFException表示输入过程中意外地到达文件尾或流尾的信号,导致从session中获取数据失败。异常是tomcat本身的问题,由于tomcat上次非正常关闭时有一些活动session被持久化(表现为一些临时文件),在重启时,tomcat尝试去恢复这些session的持久化数据但又读取失败造成的。此异常不影响系
2016-01-06 16:49:26 22081
原创 SecureCRT的使用
通常在操作Linux服务器的时候,我们会用工具命令行来操作,即使Linux服务器就在旁边,因为我们已经习惯了在windows下面作业,何况当Linux服务器不在旁边,那么就的需要借助工具来操作远程的Linux了,我用的远程工具是SecureCRT1、首先下载SecureCRT下载地址2、直接解压就可以用了。下面看配置截图1)、初始打开页面如下2)、新建
2016-01-06 11:16:03 829
原创 Centos7中安装hadoop-1.2.1
在Linux中存放软件压缩包和安装软件的目录说下/opt/software/ --存放软件压缩包/opt/modules/ --存放安装软件包/opt/tools/ --存放工具包/opt/data/ --存放测试数据以上是我规定的目录,也可以自行设置软件的安装目录和存放软件压缩包1、解压hadoop-1.2.
2016-01-02 21:53:49 1907 7
原创 在Centos配置hadoop用户无密码sudo权限
首先进入root用户su输入密码进入etc目录 cd /etc/修改sudoers文件的权限chmod u+w /etc/sudoers打开sudoers编辑内容vim /etc/sudoers加入如下内容hadoop ALL=(root) NOPASSWD:ALL在修改sudoers权限chmod u-w /etc/sudoers
2016-01-02 21:39:53 3272
html导出exce.html
2019-07-09
table-editer可以滑动复制,可以编辑,可以使用日历选择日期的jquery代码实现
2018-12-06
vue写的confirm确认框,loading加载中,message提示消息
2018-12-06
Concurrent.Thread.js多线程执行大批量函数
2018-12-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人