大数据
IT_Octopus
我仍在山麓,却仰望山巅。
展开
-
Xshell连接CentOS及安装hadoop的准备
xshell 连linux的原理是在linux虚拟网络中设置网管,这个网管是windows里进行连接。可以这样想本地连接的ip是一个动态网管,而这个网管是一个固定的IP地址。Linux的ip地址1、测试Windows系统和Linux系统之间的网络是否可达:ping 192.168.56.100 (虚拟机的IP地址)2、在Xshell中通过ssh远程登录:ssh 192.168.5...原创 2019-06-11 00:38:44 · 1378 阅读 · 0 评论 -
在linux上配置jdk和hadoop
1.下载xftp,点击xshell上的这个按键,可以将window上的文件上传到inux系统上。2.将jdk安装包装到/opt目录下3.解压JDK安装包到/opt/tar -zxvf jdk-8u11-linux-x64.tar.gz -C /opt/4.配置环境变量,输入一下:wq保存退出5.是当前配置文件立即生效source /etc/profile(如果不使用这个命令需...原创 2019-06-11 16:13:41 · 387 阅读 · 0 评论 -
HDFS配置及常见命令
HDFS是Hadoop中用来存储文件的。1、HDFS 是做什么的HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储,为超大数据集(La...原创 2019-06-11 18:40:42 · 1269 阅读 · 1 评论 -
存储 HDFS内部运行原理
一丶存储 HDFS内部运行原理我现在在操作着客户端上传文件,现在我需要启动HDFS来去上传,我输入我上传文件的命令,这个时候客户端向NameNode发出信号,然后NameNode将元数据(存储着一个文件块的大小,默认的副本数,和DataNode的数量)发回给我这个上传文件的客户端,紧接着会将我要发的文件切成元数据标准的块数,然后将分成的文件块(依照NameNode元数据中的DataNode信息)...原创 2019-06-12 23:40:03 · 135 阅读 · 0 评论 -
二丶存储+分析处理信息MapReduce内部原理
原则:移动的是算法而不是数据我现在是学生现在想要访问学校的学生大数据中心,这个时候我想要学生的年龄统计信息。这个时候我们输入下载命令去获取我们想要的信息(可能我这个学生就是一个输入命令的程序员),输入下载命令后,我们客户端会发送信号给ResourceManager告诉它我想要获取这些数据,然后ResourceManager收到信息返回给客户端,同时将我的这个需求作为任务分配给存储这些...原创 2019-06-12 23:47:11 · 146 阅读 · 0 评论 -
static代码块设置全局变量和eclipse java配好HDFS类对HDFS的操作
看到static就想到分享,听到这句话的时候稍微有了感觉将String 字符串转换成Path路径(这是JDK 1.7的新特性)String p=new String("");Path p=new Path§;/** * *HDFS的工具类,用来实现对HDFS的操作 * 1.文件的上传、下载、移动(重命名)、删除 * 2.目录的增、删、改、查 * 3.将文件从文件上传到HDFS...原创 2019-06-13 00:07:58 · 254 阅读 · 0 评论 -
在Eclipse上安装Hadoop插件
要在宿主机电脑的Eclipse上访问、操作Hadoop,必须要做的操作:1、在Eclipse中安装对应的插件2、在Eclipse中配置Hadoop3、在Windows中配置Hadoop环境变量1、在Eclipse中安装Hadoop对应版本插件在扩展包中找到对应Hadoop插件(hadoop-eclipse-plugin-2.6.5.jar),将该文件拷贝到Eclipse安装目录下的plu...原创 2019-06-13 08:14:43 · 867 阅读 · 0 评论