- 博客(51)
- 收藏
- 关注
RSS订阅原创 大数据之Hive概况与部署
Hive产生背景（1）MapReduce编程不方便：开发、测试都不方便，需求变更（2）传统关系型数据库人员的需要，数据库存不下了，同时避开数据存储在hdfs时上不得不用MapReduce来进行计算的麻烦，产生既能存储数据又能处理分析数据的工具，就像使用sql一样的方式来处理分析大数据，而不需要再写MapReduce代码就能分析大数据。==> 基于这些场景开发出了Hive，是时代发展的产物...
2018-11-04 21:10:08
498
原创 大数据之Yarn详解
1、Yarn的架构设计：这个过程一共是有8个步骤：1、用户向Yarn中的ResourceManager提交应用程序，其中包括ApplicationMaster程序，启动ApplicationMaster命令、用户命令等。2、ResourceManager首先为该Application程序分配第一个Container容器，并与对应的Node Manager通信，要求Node Manag...
2018-10-28 15:46:29
2242
转载 #转载#YARN的Memory和CPU调优配置详解
资源调优：http://blog.itpub.net/30089851/viewspace-2127851/
2018-10-24 16:13:21
268
原创 大数据之MapReduce了解及MapReduce Job提交到Yarn的工作流程
MapReduce主要用途是进行分布式计算一、MapReduce理解宏观上的理解：MapReduce仅仅是作为客户端（Client）把代码程序提交到Yarn平台上，MapReduce jar在Yarn上运行，属于客户端提交的过程，hdfs上传的命令。MapReduce指的是Map()和Reduce()函数，正常写的代码是需要继承它的，但是企业上进行生产一般是不会用它，但是它也至关重要，因为...
2018-10-21 14:01:55
747
原创 大数据之hdfs详解之六：读流程
–之前也说过读写操作对于用户来说是透明的、无感知的，用户并不关心文件是如何写进去和读出来的，例如hdfs dfs -ls 、hdfs dfs -cat、hdfs dfs -du等命令都是读流程，可以说除了上传等的命令，大部分常用的hdfs命令是读流程的。首先来看下方的一张图，经典读流程图：下面的3个DataNode可以看作是3台不同的机器运行的进程，HDFS Client和NameN...
2018-10-15 23:48:58
192
原创 大数据基础问答19
1.pwd是什么意思查看当前目录2.当我们输入一个命令，提示 not found，请问你该怎么办表明系统未安装该命令，需要安装、创建命令shell脚本：vi xx （xx是命令名称）2、赋予脚本执行权限：chmod +x xx3、编辑全局环境变量文件/etc/proflie4、生效全局环境变量文件/etc/proflie5、查看命令路径并直接输入命令看看是否执行。3.环境变量一般...
2018-10-13 16:11:05
235
原创 大数据基础问答18
1.jps命令是来自哪里的java的bin 目录下2.jps 发现不可用信息，我们应该怎么办正确的做法：1、找到进程号（pid）2、ps -eg | grep xxx 查看这个进程是否真正存在，还是处于假死状态3、假如存在，第二步是可以知道哪个用户运行这个进程， su - 用户，进去查看4、假如不存在，怎样清空残留信息？手工删除：rm -f /tmp/hsperfdata_${u...
2018-10-13 15:50:48
224
原创 大数据基础问答17
1.MySQL部署过程的配置文件默认在哪/etc/my.cnf2.赋予权限，%代表什么任意ip都能访问3.创建DB的SQL是什么?create database xxx;4.想想，创建一个用户xxx，对xxxdb有所有权限访问且密码123456，这个SQL会不会写grant all privileges on xxxdb.* to xxx@’%’ identified by ‘123...
2018-10-13 15:33:29
324
原创 大数据基础问答16
1.级联创建文件夹的命令参数mkdir -p2.创建文件 你们认为有哪几种方法vi xxx.logtouch xx.logecho ‘**’>xxx.log3.重命名一般用哪个命令cpmv4.说说大R参数的命令有哪些chownchmod5.说说小r参数的命令有哪些rmscpcp6.查看历史命令是什么，执行第66行命令history!667.histor...
2018-10-13 15:13:44
610
原创 大数据之hdfs详解之五：垃圾回收站剖析
首先需要明白一点，现在linux系统好像没有回收站的说法了，所以在删除别人的文件或文件夹之前一定要慎重，毕竟rm命令是高危命令，删除了就没有了，所以对于高危命令，我们要保持敬畏之心.hdfs在部署的时候默认垃圾回收站是禁用的，因此hdfs是可以开启垃圾回收站的。先看看官网对回收站的解释：第一个参数：fs.trash.interval=0 表示禁用Number of minutes aft...
2018-10-13 14:27:50
657
原创 大数据之hdfs详解之四：pid文件剖析
pid 默认存储在/tmp目录下，pid里面的内容就是进程号pid文件删除，不影响服务正常运行和用户的读写，但是：Stop：关闭不掉start：重新起另一个进程例如将namenode的pid 文件删除掉：[hadoop@hadoop001 tmp]$ rm -f hadoop-hadoop-namenode.pidjps查看进程，namenode还存在的，因为jps命令是读取hspe...
2018-10-13 14:05:56
350
原创 大数据之hdfs详解之三：put权限剖析与常用命令
–无论是对于hdfs的读和写，对于用户来说都是无感知的、透明的操作，用户并不关心数据如何读出来如何写进去的，只要返回一个结果告诉用户数据读出来了或写进去了，至于怎么读怎么写，用户并不关心补充：读：hdfs dfs -ls / = hdfs dfs -ls hdfs://hadoop001:9000/hdfs dfs -ls / /是hdfs文件系统的根目录 而不是Linux...
2018-10-13 14:00:35
12997
2
原创 大数据基础问答15
1.查看当前目录pwd2.切换到上一次和上一层目录上一次：cd -上一层：cd …/3.隐藏文件标识是什么，什么命令参数查看以.开头的是隐藏文件或文件夹ll -a可以查看4.which 这个命令是找哪个环境变量里的目录配置$PATH5.打印环境变量值 命令是什么echo $PATH6.全局环境变量文件在哪?怎样生效位置：/etc/profile生效：source /et...
2018-10-08 21:18:45
160
原创 大数据基础问答14
1.两台Linux机器传输文件的命令是什么scp2.上题中，传输文件夹的参数是什么-r3.window和Linux传输文件什么命令或工具winscp4.ssh登录机器，可不可以加执行命令可以远程操作执行命令：ssh user@ip cmmand5.ssh多台无密码信任关系 配置1、两台机器同时删掉.ssh文件：rm -rf .ssh2、各自生成密钥：ssh-keygen3、...
2018-10-08 20:59:14
245
原创 大数据基础问答13
1.jps是哪个软件里的java文件的bin目录下的2.jps显示 进程信息不可用，我们该怎么办正确的做法：1、找到进程号（pid）2、ps -eg | grep xxx 查看这个进程是否真正存在，还是处于假死状态3、假如存在，第二步是可以知道哪个用户运行这个进程， su - 用户，进去查看4、假如不存在，怎样清空残留信息？手工删除：rm -f /tmp/hsperfdata_${...
2018-10-08 20:36:52
383
原创 大数据基础问答12
1.排序语法 默认是降序吗不是，默认是升序2.限制多少行语法limit 行数3.分组函数有哪些group byhaving4.分组语法，谈谈你们的理解有哪些group by语法可以根据给定数据列的每个成员对查询结果进行分组统计，最终得到一个分组汇总表。group by 是分组查询，一般 group by 是和 聚合函数配合使用group by 后面跟着的字段必须与select ...
2018-10-08 20:10:30
160
原创 大数据基础问答11
1.查看当前目录的命令pwd2.隐藏文件什么标识开头，什么命令查看以.开头ll -a查看3.创建一个文件有哪些命令vitouch4.创建一个级联文件夹的命令mkdir -p filename1/filename2/filename3…5.mv和cp区别是什么mv移动，不保存以前的文件内容，只有一份cp复制，保存以前的文件内容，多份6.第5题的命令可不可以用来修改名称ye...
2018-10-07 22:49:30
167
原创 大数据基础问答10
1.pwd是什么意思查看当前光标所在的path2.cd切换到上一层和上一次命令切换上一层： cd …/切换上一次：cd -3.which cat，显示出来的路径，是从哪个环境变量参数的$path环境变量的路径4.当前文件夹搜含有abc的文件和文件夹名称find ./ -name ‘* abc*’5.tar解压和压缩参数是什么 解压要注意什么解压：tar -xzvf filen...
2018-10-07 22:26:51
217
原创 大数据基础问答09
1.join语法有哪三种?2.谈谈你对left join的理解?3.谈谈对子表的理解4.谈谈group by需要注意什么?5.聚合函数有哪些?6.order by默认是什么排序7.union 和union all什么区别8.having一般是和什么语法一起出现9.MySQL的字段类型有哪些10.大数据是什么?11.hadoop软件有哪三个组件12.hdfs mapreduc...
2018-10-07 21:19:51
196
原创 大数据基础问答08
1.which命令是读取哪个环境变量参数2.环境文件分为全局和个人的，什么区别3.拓展题: 输入一个命令，提示command not found，你们觉得该怎么办4.拓展题: 比如你的领导让你去打开A电脑上的服务xxx的web界面，那么请问浏览器需要输入网址，一般是IP和端口号，请问怎么获取5.拓展题: 你在家里链接你的虚拟机上某个服务或公司的服务器的某个服务，抛错为拒绝链接，请问怎么办...
2018-10-07 20:59:01
181
原创 大数据基础问答07
1.全局搜索含有abc的文件名称或文件夹的命令find / -name ‘* abc *’2.当前目录一般用什么表示3.切换到上一次和上一层命令分别是什么4.pwd是查看当前目录的什么5.隐藏文件或文件夹的标识是什么? 怎样查看6.查看进程和端口号命令7.（拓展题）杀死含有xxx名称的进程，那么在杀死之前我们要做什么? 那么杀死的命令是什么?8.tar解压后，我们要习惯做什么?...
2018-10-07 13:06:45
166
原创 大数据基础问答06
1.MySQL的部署流程大概哪几步(1)Download and Check MD5（2）Check isnot install（3）tar and mv（4）Create group and user（5）Create /etc/my.cnf(640)（6）chown and chmod privileges and try first install（7）Again instal...
2018-10-06 23:34:24
121
原创 大数据基础问答05
1.pwd表示什么查看当前目录2.隐藏目录什么标识开始，怎么看以.开头的文件是隐藏文件ll -a可以查看3.查看文件的大小哪两组命令?ll -hdu -sh xxx.log4查看文件夹的大小命令是什么?du -sh xxx5.怎样测试端口通不通telnet 当前ip 端口号6.查看进程和端口号命令分别是什么查看进程：ps -ef | grep xxx查看端口号：nets...
2018-10-06 21:55:40
237
原创 大数据基础问答04
1.如何判断一个Linux上的xxx服务是否存活?一、查看进程是否运行： ps -ef | grep xxx二、查看端口号： netstat -nlp | grep xxx （xxx是pid）第一步：ping xxx服务所在的机器的ip: 网络环境能够ping通的，服务正常，不能ping通，需要排查。第二步：查看xxx服务的端口号和服务地址（监听地址）第三步 telnet xxxxxx ...
2018-10-06 21:29:30
223
原创 大数据基础问答03
1.切换用户和临时获取root用户最大权限的命令分别是什么切换用户：(sudo) su - username临时获取root用户最大权限：sudo xxx（xxx是某命令）2.想要用sudo命令，我们需要配置无密码的临时root最大权限，修改哪个文件，添加一行什么语句?需要修改/etc/sudoers文件添加以下语句不需要输入密码即可获取临时root最大权限：username A...
2018-10-06 00:12:21
181
原创 大数据基础问答02
1.临时获取root权限是修改哪个配置文件?添加一行什么? 命令是什么?临时获取root权限是修改/etc/sudoers文件添加一行：username ALL=(ALL) ALL命令：sudo xxx命令2.sudo和su能不能一起使用?当然能：sudo su - username3.安装RPM包命令什么yum install xxx4.卸载RPM包命令哪两个?...
2018-10-06 00:11:54
200
原创 大数据基础问答01
1.查看当前目录是什么命令pwd2.切换目录的命令是什么?cd3.切换到家目录有哪些命令?cd /rootcdcd ~4.切换到 上一次 和 上一层的命令分别是什么cd -cd …/5.绝对路径和相对路径 区别是什么绝对路径是指目录下的绝对位置，直接到达目标位置，通常是从盘符开始的路径。完整的描述文件位置的路径就是绝对路径相对路径就是指由这个文件所在的路径引起的跟其...
2018-10-06 00:11:37
302
原创 hadoop之hdfs详解之二：写流程
客户端通过rpc与NN通信写文件命令：bin/hdfs dfs - put xxx.log /usr/hadoop/data/1、Client调用（Distributed FileSystem）filesystem.creat(path)，与NN进行rpc通信，NN check Path是否已经存在及有没有权限创建；-假如ok，就创建一个新文件，但是不关联任何的block，返回一个FS...
2018-10-05 16:55:57
172
原创 hadoop之hdfs详解之一
HDFS 是单台或集群伪分布式部署NameNode 简称NNSecondaryNameNode简称SNNDataNode简称DNNN、DN、SNN部署在同一台机器上hdfs启动的命令脚本:sbin/start-dfs.sh：即将linux文件上传到hdfs存储里面，相当于windows上传文件到安装在电脑上的百度云盘上命令位置：bin/hdfs dfs -ls /1、bl...
2018-10-05 16:43:49
478
原创 hadoop之ssh命令、scp命令与建立多台机器互相信任关系
一、ssh命令：（1）查看命令帮助：（2）[user@]hostname [command]如果不添加user@的话，表示ssh远程连接hostname所在的机器是以当前ssh这个命令所在的当前用户来连接（3）指定端口号：ssh root@ip -p xxx（4）打印一个日期：ssh root@ip date[root@hadoop001 ~]# ssh root@47.75.24...
2018-10-05 16:16:47
1331
原创 hadoop之hdfs命令剖析
（1）查看hdfs主从架构进程[hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ jps13490 DataNode14800 ResourceManager13366 NameNode25008 Jps13651 SecondaryNameNode（2）jps命令的位置：来自java[hadoop@hadoop001 hadoop-2.6.0...
2018-10-05 15:57:28
221
原创 hadoop之hdfs的3个节点以同一进程启动
HDFS三个进程启动都以xxxxxxxx启动：以我自己的机器名称为例：HDFS三个进程启动以hadoop001启动：etc/hadoop目录下设置之前在部署hdfs时候修改了core-site.xml文件slaves文件（1）在core-site.xml文件中修改fs.defaultFS参数为hadoop001，使NameNode进程以hadoop001启动。（2）在slaves文...
2018-10-05 15:47:15
592
原创 hadoop 之 mapreduce job 案例练习
mapreduce job 案例官网要求：1、Make the HDFS directories required to execute MapReduce jobs:$ bin/hdfs dfs -mkdir /user$ bin/hdfs dfs -mkdir /user/< username>2、Copy the input files into the distri...
2018-10-05 15:25:13
455
原创 hadoop之yarn部署
yarn伪分布式部署：YARN on Single NodeYou can run a MapReduce job on YARN in a pseudo-distributed mode by setting a few parameters and running ResourceManager daemon and NodeManager daemon in addition.The...
2018-10-05 14:50:02
1944
原创 hadoop概况与hdfs部署
一、hadoop概况广义的Hadoop是指以hadoop软件为主的生态圈狭义d的hadoop是指hadoop软件大数据软件官网：hadoop: hadoop.apache.orghive: hive.apache.orgspark: spark.apache.orgflink: flink.apache.orghadoop软件版本：1.x2.x 生产上多用2.x版本3.x 在...
2018-10-05 14:10:26
599
原创 MySQL基础语法之三：join语法
join语法：表与表关联join 用于多表中字段之间的联系JOIN 按照功能大致分为如下三类：INNER JOIN（内连接,或等值连接）：取得两个表中存在连接匹配关系的记录。LEFT JOIN（左连接）：取得左表（table1）完全记录，即是右表（table2）并无对应匹配记录。RIGHT JOIN（右连接）：与 LEFT JOIN 相反，取得右表（table2）完全记录，即是左表（t...
2018-10-05 11:52:29
3101
原创 MySQL基础语法之二
练习：使用部门表、工资等级表和员工表熟悉语法–部门表dept部门表(deptno部门编号/dname部门名称/loc地点)create table dept (deptno numeric(2),dname varchar(14),loc varchar(13));insert into dept values (10, ‘ACCOUNTING’, ‘NEW YORK’);ins...
2018-10-05 01:16:46
279
原创 MySQL基础语法一
补充：在生产当中可能要遇到MySQL需要重新部署的情况，这时需要在重新部署之前删掉2个文件：rm -rf $MYSQL_HOME/arch/* （这个文件是binlog日志，可用于恢复数据 ，也可创建主从同步）rm -rf $MYSQL_HOME/data/* （这个文件是存放数据的，需要格式化）------------------------------------------...
2018-10-04 23:24:29
262
原创 大数据Linux命令之命令安装、文件编辑、软件上传与下载
一、如何找命令当我们输入一个系统中没有安装到的命令时，会抛出提示：command not foundLinux 下，我们常使用 cd ,grep,vi 等命令，有时候我们要查到这些命令所在的位置，如何做呢？linux下有2个命令可完成该功能：which ,whereiswhich 用来查看当前要执行的命令所在的路径。whereis 用来查看一个命令或者文件所在的路径，which命令的...
2018-09-24 16:21:13
351
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人