大数据
文章平均质量分 62
ipomonkey
只是小小程序猿
展开
-
大数据第一天——Linux常用命令大全
Linux常用命令大全(非常全!!!)Linux命令大全(手册)链接最近都在和Linux打交道,感觉还不错。我觉得Linux相比windows比较麻烦的就是很多东西都要用命令来控制,当然,这也是很多人喜欢linux的原因,比较短小但却功能强大。我将我了解到的命令列举一下,仅供大家参考:系统信息 arch 显示机器的处理器架构(1) uname -m 显示机器的处理器架构(2) u...转载 2018-09-04 09:27:42 · 459 阅读 · 0 评论 -
大数据第二天———Hadoop命令
命令 说明 1.执行:hadoop fs -mkdir /park 在hdfs 的根目录下,创建 park目录 2.执行:hadoop fs -ls / 查看hdfs根目录下有哪些目录 3.执行:hadoop fs -put /root/1.txt ...原创 2018-09-21 17:17:47 · 283 阅读 · 0 评论 -
大数据准备——安装hadoop(下)
上一篇博客地址:https://blog.csdn.net/IPOmonkey/article/details/828021908.修改core-site.xmlvim core-site.xml在<configuration></configuration>标签中添加如下代码<configuration></configuration...原创 2018-09-21 17:04:36 · 252 阅读 · 0 评论 -
大数据准备——安装hadoop(上)
1.安装配置jdk、关闭防火墙1.安装jdk ,查看前一篇博客https://blog.csdn.net/IPOmonkey/article/details/828019602.命令行敲入,两个命令配合使用。> service iptables stop# 执行该命令可以关闭防火墙,但是如果虚拟机重启的话,防火墙会重新开启。> chkconfig iptables o...原创 2018-09-21 16:44:44 · 279 阅读 · 0 评论 -
大数据准备——安装JDK
1.解压Linux版本的JDK压缩包命令行敲入:mkdir /home/softwarecd /home/softwarerz 上传jdk tar包[这里添加自己tar包的名字](如果rz命令不能使用,先执行yum install lrzsz -y ,需要联网)tar -xvf jdk-7u51-linux-x64.tar.gz2. 配置环境变量1. 命令行敲入:vim...原创 2018-09-21 15:34:20 · 344 阅读 · 0 评论 -
大数据准备——安装VMware、Xshell、CentOS
1.安装Vmware 14【网上下载,找个序列号,一路下一步就好了】2.安装CentOS创建新的虚拟机,这里我是用的是CentOS6.5。3.安装Xshell官方网址:https://www.netsarang.com/download/down_form.html?code=622填一下资料,就可以美滋滋下载了。也是一路下一步。4.Xshell连接虚拟机1.打...原创 2018-09-21 15:23:49 · 272 阅读 · 0 评论 -
大数据第四天——MapReduce原理及IDEA Maven下WordCount实例两种实现
1.MapReduce概述HDFS实现了分布式文件存储,存储问题解决了,我们就需要考虑如何对数据进行处理,MapReduce是一个计算框架(编程模型),基于该计算框架,可以很容易的编写数据处理程序,从而以较高的效率处理海量数据集。MR框架对于程序员的最大意义在于,不需要掌握分布式计算编程,不需要考虑分布式编程里可能存在的种种难题,比如任务调度和分配、文件逻辑切块、位置追溯、工作。这样,程序...原创 2018-09-26 11:38:14 · 720 阅读 · 0 评论 -
大数据第三天————IDEA下自定义 HDFS API基本操作(封装hdfs基本操作)
最近研究了一波HDFS基本操作,如果java代码写的话,会非常麻烦,所以我封装了一下一些主要的HDFS操作。而且正常使用命令行操作,是看不到成功与否,所以在封装类里面增加了结果打印情况,发现查看hadoop的基本操作。同时还增加了批量操作的封装。目录1.封装函数的接口 2.封装函数的实现3.实例应用4.运行截图1.封装函数的接口import java.io.IOExc...原创 2018-09-25 22:46:37 · 592 阅读 · 0 评论 -
大数据第二天——HDFS的原理
(一) HDFS主要是用于做什么的? HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储,为超大数据集(Large D...转载 2018-09-06 09:53:00 · 249 阅读 · 0 评论 -
大数据第一天
一 . 安装安装软件VMware Pro14,CentOS6.5,Xshell6。二.Linux命令Linux命令 参考博客:https://blog.csdn.net/IPOmonkey/article/details/82378096小练习在/home中创建demo10和demo11和demo12并在/home添加三个文件x.txt、y.txt、z.txt将x.txt...原创 2018-09-04 09:28:25 · 318 阅读 · 0 评论 -
大数据第二天——VIM命令
VIM命令vim三种模式一般模式的快捷键1.移动光标h或左箭头:光标左移一个字符。如果是20h,表示左移20个字符。j或下箭头:光标下移一个字符 同上k或上箭头:光标上移一个字符 同上l或右箭头:光标右移一个字符 同上H:光标移到当前屏幕最上方行的第一个字符M:光标移到当前屏幕中间行的第一个字符L:光标移动到当前屏幕最下方行第一个字符G:移到此文...原创 2018-09-06 09:43:20 · 222 阅读 · 0 评论 -
大数据第二天————HDFS细节
知识点1.HDFS :Hadoop Distributed File System。Hadoop的分布式文件系统。是基于《Google File System》做的开源实现。2.HDFS的作用是存储海量数据。因为HDFS是一个分布式架构,可以无限扩展节点来存储数据3.HDFS存储文件的特点是 :块存储4.HDFS的角色:①namenode ②datanode ③Second...原创 2018-09-21 17:23:43 · 282 阅读 · 0 评论