大数据
文章平均质量分 86
左撇子火鸟
这个作者很懒,什么都没留下…
展开
-
大数据linux系统部分命令分析-早课(0914)
1.pwd表示什么显示当前完整的路径2.隐藏目录什么标识开始,怎么看 隐藏目录以点开始的。 #ls -la 来查看隐藏文件。 3.查看文件的大小哪两组命令? #du -m #ls -lrt 4查看文件夹的大小命令是什么? #du -sm5.怎样测试端口通不通ping ip:端口6.查看进程和端口号命令分别是什么ps -efn...原创 2018-09-15 18:19:28 · 5742 阅读 · 0 评论 -
大数据基础MapReduce分析(1)MapReduce架构简单命令解释
1 MapReduce简介1.1 MapReduce简介MapReduce是一种分布式计算模型,是Google提出的,主要用于搜索领域,解决海量数据的计算问题。MR有两个阶段组成:Map和Reduce,用户只需实现map()和reduce()两个函数,即可实现分布式计算。1.2 MapReduce做什么 MapReduce擅长处理大数据,它为什么具有这种能力呢?这可由MapReduce...原创 2018-10-21 11:08:12 · 446 阅读 · 0 评论 -
大数据基础课之HDFS课程 读流程-写流程
HDFS课程 读流程-写流程1 HDFS-写流程1.写流程hdfs dfs -ls / hdfs文件系统的根目录 而不是Linuxhdfs dfs -ls hdfs://hadoop002:9000/ hdfs://hadoop002:9000 来自core-site.xmlhdfs dfs -ls ...原创 2018-10-12 22:10:34 · 492 阅读 · 0 评论 -
大数据基础课之Hadoop MapReduce执行过程详解
述一下mapreduce的流程(shuffle的sort,partitions,group)首先是 Mapreduce经过SplitInput 输入分片 决定map的个数在用Record记录 key value。然后分为以下三个流程:Map:输入 key(long类型偏移量) value(Text一行字符串)输出 key valueShuffle:、合并(merge)map输出时...转载 2018-10-04 21:52:27 · 181 阅读 · 0 评论 -
大数据基础hdfs启动过程和相关组件解释
问题导读:1.job的本质是什么?2.任务的本质是什么?3.文件系统的Namespace由谁来管理,Namespace的作用是什么?4.Namespace 镜像文件(Namespace image)和操作日志文件(edit log)文件的作用是什么?5.Namenode记录着每个文件中各个块所在的数据节点的位置信息,但是他并不持久化存储这些信息,为什么?6.客户端读写某个数据时,是否通...原创 2018-10-04 21:31:52 · 283 阅读 · 0 评论 -
大数据课程之JPS 分析0926
jps(Java Virtual Machine Process Status Tool)是JDK1.5提供的一个显示当前所有java进程pid的命令,简单实用,非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。很多人都是用过unix系统里的ps命令,这个命令主要是用来显示当前系统的进程情况,有哪些进程以及进程id。 jps 也是一样,它的作用是显示当前系统的java进程...原创 2018-10-04 21:15:02 · 242 阅读 · 0 评论 -
大数据基础课之Yarn伪分布式部署0926
Yarn伪分布式部署本人采用hadoop版本为 hadoop-2.6.0-cdh5.7.0。Yarn详细配置信息官方地址如下:http://hadoop.apache.org/docs/r2.7.5/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation1 Yarn伪分布式部署Yo...原创 2018-10-04 21:07:35 · 132 阅读 · 0 评论 -
hadoop生态圈相关版本软件下载官方地址
Apache版本: Hadoop官网:http://hadoop.apache.org/Hadoop下载:http://mirror.bit.edu.cn/apache/hadoop/common/Hadoop历史版本下载:http://archive.apache.org/dist/hadoop/core/Hadoop文档:http://hadoop.apache.org/docs/H...转载 2018-10-04 20:55:36 · 424 阅读 · 0 评论 -
Hadoop各个功能模块的理解(网络收集转发文章)
Hadoop各个功能模块的理解1、 HDFS模块HDFS负责大数据的存储,通过将大文件分块后进行分布式存储方式,突破了服务器硬盘大小的限制,解决了单台机器无法存储大文件的问题,HDFS是个相对独立的模块,可以为YARN提供服务,也可以为HBase等其他模块提供服务。2、 YARN模块YARN是一个通用的资源协同和任务调度框架,是为了解决Hadoop1.x中MapReduce里NameNod...转载 2018-09-24 15:40:20 · 677 阅读 · 0 评论 -
大数据之hadoop(1)二进制简易安装(简单配置之启动)
大数据之hadoop二进制简易安装(简单配置之启动)本节课主要简单配置hadoop。简单启动。其配置文件简单配置。不做任何说明。1检查系统环境。2下载hadoop软件,去官网下载二进制文件。下载相关的官方文档说明。基本上任何不理解的问题都是官网去查询。本次hadoop下载是使用hadoop-2.6.0-cdh5.7.0.tar.gz版本本次使用java版本jdk1.7.0_80。官网有...原创 2018-09-24 15:03:56 · 331 阅读 · 0 评论 -
大数据linux系统命令早课0913.
1.如何判断一个Linux上的xxx服务是否存活?chkconfig –list | grep xxxxxxx2.端口号哪个命令去看看通不通?#ping 3.那么Linux和window系统想想,都会安装telnet吗?telnet 端口号为23.Telnet传输不加密。4.查看Linux的ip哪些途径? 1# ifconfig 2 # hostna...原创 2018-09-13 15:48:49 · 1871 阅读 · 0 评论 -
大数据linux系统部分命令解析(2)0912
1.查看ip ifconfig 解释: ifconfig 常用命令关闭网卡,查看ip。请看帮助! NAME ifconfig - configure a network interfaceSYNOPSIS ifconfig [interface] ifconfig interface [aftype] options | address …...原创 2018-09-13 11:41:28 · 388 阅读 · 0 评论 -
大数据MySQL基础讲解数据类型
1.数据类型char 字符 char(10) abcxxxxxxx 定长varchar 字符串 varchar(10) abc 变长abcde 5个字符int 整数float 单精度double 双精度date 日期 年月日timestamp 年月日 时分秒http://www.runoob.com/mysql/mysql-data-types.htmlD...原创 2018-09-18 10:37:07 · 360 阅读 · 0 评论 -
大数据linux环境MySQL部署诶二进制安装
大数据linux环境MySQL部署诶二进制安装1 确定新环境内无mysql,下载软件安装装jdk。切记校验MD5。2 安装新环境注意步骤和注意事项。定义全装目录,解压和重名了相关文件。#tar and mv[root@sht-sgmhadoopnn-01 local]# tar xzvf mysql-5.6.23-linux-glibc2.5-x86_64.tar.gz[root@sh...原创 2018-09-17 18:49:46 · 151 阅读 · 0 评论 -
大数据早课0912linux命令答疑
1.切换用户和临时获取root用户最大权限的命令分别是什么 #su #sudo2.想要用sudo命令,我们需要配置无密码的临时root最大权限,修改哪个文件,添加一行什么语句? 需要我们修改/etc下面的sudo的配置文件。/etc/sudo3.su - user1,这个短横杠代表什么调用环境变量4.隐藏文件什么标识?哪个命令参数可以查看?ls -la...原创 2018-09-12 16:57:25 · 119 阅读 · 0 评论 -
大数据linux系统部分早课答疑(2)
1.临时获取root权限是修改哪个配置文件?添加一行什么? 命令是什么?vi /etc/sudoersAllow root to run any commands anywhereroot ALL=(ALL) ALL houlh ALL=(ALL) ALL 2.sudo和su能不能一起使用? 可以 (sudo配置一定要注意安全。生产环...原创 2018-09-12 16:18:14 · 215 阅读 · 0 评论 -
大数据liunx基础命令早课分析答疑(1)
1.查看当前目录是什么命令pwd2.切换目录的命令是什么?cd3.切换到家目录有哪些命令? [houlh@Data ~]cd/[houlh@Data/]cd/[houlh@Data/] cd / [houlh@Data /] cd [houlh@Data ~]pwd/home/houlh[houlh@Data ]pwd/home/houlh[houlh@D...原创 2018-09-12 15:13:46 · 156 阅读 · 0 评论 -
大数据linux部分汇总(1)
1.linux系统部分主要涉及到虚拟机安装和配置此处省略。 2.linux系统基础命令部分。1.clear清屏 2.vi 3.cat xxx.log 查看1.pwd 查看当前光标所在的path2.家目录 /boot swap / 根目录 起始位置家目录: 用户所在的默认的目录 /root 超级admin /home/jepson /home/doudou /...原创 2018-09-12 11:02:09 · 456 阅读 · 0 评论 -
大数据之hive基础理论
关于大数据Hadoop是什么海量数据分布式的存储和计算框架数据存储:HDFS: Hadoop Distributed File System数据计算:YARN/MapReduce1 hive 产生背景hive定义:The Apache Hive ™ data warehouse software facilitates reading, writing, and managing l...原创 2018-10-24 20:01:16 · 275 阅读 · 0 评论