- 博客(32)
- 收藏
- 关注
RSS订阅原创 HDFS读流程
HDFS 读流程 面试题一般有以下几个步骤：1.client通过分布式FileSystem.open(path)方法，去与NN进行RPC通信，NN会校验是否存在 权限是否OK。2.校验完成后，返回path文件的部分或全部的block列表(其实就是返回FSDataInputStream对象)3.Client调用FSDataInputStream对象的read()方法a.去与第一个块的最近...
2018-11-12 16:55:08
167
原创 大数据学习之了解MapReduce及MapReduce架构
1. 了解MapReduceMapReduce是hadoop上开发应用程序的主要的编程框架。只是作为看看客户端（client）把代码程序提交到Yarn平台上，MapReduce jar在Yarn上运行，属于客户端提交的过程，hdfs上传命令。MapReduce的工作是由Map和Reduce两部分函数构成的。例如：‘The dog are the food’将得到5个jian–值对（key...
2018-11-12 13:03:11
188
原创 大数据学习日志14
MySQL部署过程的配置文件默认在哪/etc/my.cnf赋予权限，%代表什么任何ip都能访问创建DB的SQL是什么?create database xxx;想想，创建一个用户xxx，对xxxdb有所有权限访问且密码123456，这个SQL会不会写grant all privileges on xxxdb.* to xxx@’%’ identified by ‘123...
2018-11-12 11:35:31
190
原创 大数据学习日志13
级联创建文件夹的命令参数-p创建文件 你们认为有哪几种方法vi xxx.log、touch xx.log、echo ‘**’>xxx.log重命名一般用哪个命令cp说说大R参数的命令有哪些chmod、chown说说小r参数的命令有哪些rm、cp、scp查看历史命令是什么，执行第66行命令history!66history命令，怎样清空...
2018-11-12 11:34:26
215
原创 大数据学习日志12
查看当前目录pwd切换到上一次和上一层目录cd -cd ../隐藏文件标识是什么，什么命令参数查看. 开头ll -a 查看which 这个命令是找哪个环境变量里的目录配置$PATH打印环境变量值 命令是什么echo $PATH全局环境变量文件在哪?怎样生效/etc/profile 配置source /etc/profile 生效个人环境变...
2018-11-12 11:33:36
168
原创 大数据学习hdfs详解之pid文件剖析
pid文件pid默认存储在/tmp目录下pid内容就是进程号[hadoop@hadoop001 ~]$ cd /tmp[hadoop@hadoop001 tmp]$ lltotal 132drwxrwxr-x. 4 hadoop hadoop 4096 Sep 18 10:05 hadoop-hadoop-rw-rw-r--. 1 hadoop hadoop 6 Oct 20 ...
2018-10-27 16:14:34
352
原创 大数据学习hdfs详解2(write )
写流程hdfs dfs -ls / hdfs文件系统的根目录,而不是Linuxhdfs dfs -ls hdfs://hadoop001:9000/hdfs://hadoop002:9000 来自core-site.xml中的配置hdfs dfs -ls 读取当前命令操作的用户的路径 /user/用户/执行hdfs dfs -...
2018-10-27 13:47:52
524
原创 大数据学习Hdfs详解1
HDFS架构设计: 主从NN 主 名称节点 扮演老大的角色SNN 第二名称节点 --》NN 扮演二把手的角色DN 从 数据节点 扮演小弟的角色hdfs启动的命令脚本:sbin/start-dfs.sh：即将linux文件上传到hdfs存储里面，相当于windows上传文件到安装在电脑上的百度云盘上命令位置：bin/hdfs dfs -ls /block块...
2018-10-27 12:38:49
251
原创 大数据学习日志eleventh
1. jps是哪个软件里的java文件夹下的bin目录2. jps显示 进程信息不可用，我们该怎么办首先，找到进程号其次，ps-ef | grep 进程号 查看进程是否存在还是处于假死状态存在的话，上步可知哪个用户运行这个进程，su - 用户 去查看3. 在部署yarn的伪分布式部署，我们用了哪两个参数文件?mapred-site.xml 和 yarn-site.xml4. 启动y...
2018-10-24 01:40:10
94
原创 大数据学习日志tenth
1.which命令是读取哪个环境变量参数PATH环境变量下保存的路径2.环境文件分为全局和个人的，什么区别全局环境变量是所有用户都能使用的，而个人的是指定用户才能使用的，其他用户无法使用3.拓展题: 输入一个命令，提示command not found，你们觉得该怎么办a.查看你的输入是否有问题；b.这个命令的保存路径并没有配置在全局环境变量当中 c.这个命令也许是配置在个人的环境变量...
2018-10-23 09:18:54
137
原创 大数据学习日志nineth
1.全局搜索含有abc的文件名称或文件夹的命令find / -name ‘abc’2.当前目录一般用什么表示./3.切换到上一次和上一层命令分别是什么cd -cd …/4.pwd是查看当前目录的什么绝对路径5.隐藏文件或文件夹的标识是什么? 怎样查看.开头ll -a6.查看进程和端口号命令ps -ef | grep xxx    netstat -nl...
2018-10-23 09:18:19
195
原创 大数据学习日志eigth
1.查看当前目录的命令pwd2.隐藏文件什么标识开头，什么命令查看.开头 ll -a查看3.创建一个文件有哪些命令vi、echo、touch4.创建一个级联文件夹的命令mkdir -p5.mv和cp区别是什么剪贴与复制6.第5题的命令可不可以用来修改名称可以7.cp文件夹，需要加什么参数-r8.cd切换上一层和上一次目录的命令参数是什么cd …/cd -9.环境...
2018-10-23 09:10:51
122
原创 大数据学习日志seventh
1.pwd是什么意思显示当前光标所在路径2.cd切换到上一层和上一次命令cd …/cd -3.which cat，显示出来的路径，是从哪个环境变量参数的$PATH4.当前文件夹搜含有abc的文件和文件夹名称find ./ -name ‘abc’5.tar解压和压缩参数是什么 解压要注意什么tar -xzvf xxx.tar.gz   压缩：tar -czv...
2018-10-23 09:10:25
101
原创 大数据学习日志sixth
1.MySQL的部署流程大概哪几步解压、修改权限、安装、启动2.重置root用户密码的SQL是什么?用到了 什么函数?update user set password=password(‘xxxxx’) where user=‘root’3.删除空账户的SQL是什么?delete from user where user=’’4.数据类型有哪些?char varchar int fl...
2018-10-23 09:07:02
93
原创 JpS命令解析
查看hdfs主从架构：[hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ jps12492 Jps11595 NameNode11828 SecondaryNameNode查看jps来自哪里 （来自java）[hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ which jps/usr/java/jdk1.7.0_80...
2018-10-23 00:12:54
187
原创 大数据学习HDFS三个进程都以hadoop001启动
我们在之前学习了hdfs的部署，那么我们对于三个进程的配置都应该很熟悉了，这三个进程都是以IP对外监听的。当我们在Hadoop的家目录下执行sbin/stop-dfs.sh命令后我们发现：NameNode和DataNode是在hadoop001下关闭的，SecondaryNameNode是在[0.0.0.0]下关闭的那么我们如何让这三个进程都统一是在Hadoop001下关闭的呢？对于进程Nam...
2018-10-22 22:27:03
330
原创 大数据之MR Job案例
1 创建运行MapReduce作业的文件目录2 将input文件发送到到分布式文件系统中并检查是否成功3 测试案例在生产上，map和reduce是分步运行的，map运行到50%时reduce开始运行，对于小的数据文件，map运行到100%reduce才开始运行。在资源不够的情况下会报错，会尝试提交其他资源，重新上传资源，其每次输出的文件夹都不一样，因为系统不会覆盖原来的输出文件，...
2018-10-19 18:04:26
782
原创 大数据学习之Yarn伪分布式部署
上篇文章记录了hdfs部署，那么下来我们看看Yarn的部署[hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ cd etc/hadoop[hadoop@hadoop001 hadoop]$ lltotal 152-rw-r--r--. 1 hadoop hadoop 4436 Mar 24 2016 capacity-scheduler.xml-rw-...
2018-10-16 15:16:59
186
原创 大数据学习hadoop之hdfs部署
1. Hadoop的说法广义说法：以hadoop软件为主的生态圈狭义说法：hadoop软件2. apacheapache基金会有很多的开源项目，包括hadoop、saprk、hive、flink等，其统一网址为xxx.apache.org，For Examplehadoop.apache.orghive.apache.orgspark.apache.orgflink.apac...
2018-10-16 10:54:28
231
原创 大数据学习日志fifth
1.pwd表示什么显示当前目录2.隐藏目录什么标识开始，怎么看以.开始ll -a3.查看文件的大小哪两组命令?ll -hdu -sh4查看文件夹的大小命令是什么?du -sh5.怎样测试端口通不通telnet 可访问端口的IP 端口号6.查看进程和端口号命令分别是什么ps -ef | grep xxx 获取进程pidnetstat -nlp| grep pid通过其进程...
2018-10-03 22:46:59
92
原创 大数据学习日志fourth
1.如何判断一个Linux上的xxx服务是否存活?首先，通过ps -ef | grep xxx命令获取xxx服务的pid，之后用netstat -nlp | grep xxx获取xxx服务端口号，输入ping xxx服务的ip，之后telnet ip看输出结果2.端口号哪个命令去看看通不通?netstat -nlp4.查看Linux的ip哪些途径?ifconfig、hostname -i...
2018-10-03 22:46:12
96
原创 大数据学习之SQL语句二
多表关联 join----建表drop table testa;create table testa(aid int,aname varchar(100));drop table testb; create table testb(bid int,bname varchar(100),age int);----给表中添加数据insert into testa values(1,'...
2018-09-29 14:27:11
231
原创 大数据学习之SQL语句一
1. 数据类型数据类型详情链接char 字符 varchar 字符串 int 整数 float 单精度 double 双精度date日期 年月日 timestamp 年月日 时分秒char和varchar后面可以接一个括号，里面填入一个数字表示字符个数，char是定长的，一旦确定在数据库中存储时就占这么多个字符，varchar是动态的当你的输入没有满足最大字符数时就按实际...
2018-09-29 10:43:04
384
原创 大数据学习之MySQL常规使用
常规使用[root@hadoop001 ~]# su - mysqladmin[mysqladmin@hadoop001 ~]$ mysqlWelcome to the MySQL monitor. Commands end with ; or \g.Your MySQL connection id is 3Server version: 5.6.41-log MySQL Commun...
2018-09-27 13:31:14
114
原创 大数据学习之MySQL部署
1. 部署rpm包部署：yum install mysql-server，yum install mysql-client其部署简单，但是目录固化，不适合企业使用二进制部署：部署麻烦但是目录定制化，适用于企业2. 进行二进制部署首先，通过rz命令上传MySQL和JDK到/usr/local目录下2.1 Download and Check MD5mysql安装包下载：详情链接...
2018-09-27 13:27:03
252
原创 大数据学习Linux命令之三
vi编辑流程图及相关快捷键1.查看ipwindows系统查看ip，可通过 win + r 键输入cmd 进入命令窗口输入 ipconfig 可查看本地ip地址；Linux/Max系统查看ip， 在终端中输入 ifconfig 即可查看ip地址除上述两种方法，还可以通过 hostname -i 和ping hadoop001（此处的hadoop001为我机子上的hostname，大...
2018-09-19 01:06:47
137
原创 大数据学习日志third
1.切换用户和临时获取root用户最大权限的命令分别是什么切换用户:su 临时获取root用户最大权限:sudo2.想要用sudo命令，我们需要配置无密码的临时root最大权限，修改哪个文件，添加一行什么语句?可以修改/etc/suduers这个文件，在root处添加下面这一行 louie ALL=(ALL) ALL 这个需要输入密码。 ...
2018-09-17 13:33:55
168
原创 大数据学习日志second
1.临时获取root权限是修改哪个配置文件?添加一行什么? 命令是什么?/etc/sudoers2.sudo和su能不能一起使用?可以3.安装RPM包命令什么yum install xxx4.卸载RPM包命令哪两个?rpm -e --nodeps yum remove xxx5.查看命令帮助 是什么? 怎样看-- help man6.查看...
2018-09-17 13:07:17
94
原创 大数据学习日志first
1. 查看当前目录是什么命`pwd 2. 切换目录的命令是什么?cd 3.切换到家目录有哪些命令?cd,cd ~4.切换到 上一次 和 上一层的命令分别是什么cd - 切换到上一次 cd ../ 切换到上一层 （如果是cd ../../ 表示切换到上上层，以此类推）5.绝对路径和相对路径 区别是什么绝对目录（从根路径开始） 相对路径（以当前...
2018-09-17 12:46:00
111
原创 大数据学习之Linux命令二
1.管道符 | &grep命令形如 命令1 | 命令2 2. 修改用户密码passwd username username表示所要修改密码的用户名，在修改了用户的家目录路径后可能会出现登录不上，或者格式与往常不一样，这时可使用命令cp /ect/sket.* 新的家目录地址 3. 修改权限权限分为：读、写、执行，代表数字分别为4、2、1，其...
2018-09-16 18:53:22
260
原创 大数据学习之Linux命令一
这学期开始跟着若泽学大数据，最近有些事情耽搁了写博客，即日起开始打卡，记录每次课上知识点，如有问题还望大家指出。1. pwd 查看当前光标所在的路径2. 家目录 用户所在的默认的目录/root 超级管理员root / 根目录，也就是起始位置 3. cd 表示切换cd path 从当前路径切换到你所指定的path cd /user 切换到用户use...
2018-09-12 00:10:55
158
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人