linux
Deng_huakai
花开自会落
展开
-
hdfs
hadoop 广义:以Hadoop软件为主的生态圈 狭义:Hadoop软件 hadoop.apache.org hive.apache.org spark.apache.org flink.apache.org 生产上一般用Hadoop2.x 版本(因为考虑到很多软件在一起用的兼容性,所以不用最新的3.x的版本) hadoop2.x组件: hdfs: 存储 分布式文件系统 底层 生产...原创 2018-10-28 19:28:28 · 145 阅读 · 0 评论 -
Linux下MySQL二进制安装及部署2
启动mysql并查其进程 su - mysqladmin (进入家目录) rm -rf my.cnf [mysqladmin@sht-sgmhadoopnn-01 ~]$ mysqld_safe & [1] 11802 ps -ef|grep mysql netstat -tulnp | grep mysql(正常清空下通过查出进程号再根据进程号查端口号,但是也可以根据名字查端口号。my...原创 2018-10-27 17:53:19 · 177 阅读 · 0 评论 -
jps
jps查看进程 [hadoop@hadoop002 hadoop-2.6.0-cdh5.7.0]$ jps 16188 DataNode 16379 SecondaryNameNode 16566 Jps 16094 NameNode(此时hdfs的三个进程正常起来了) [hadoop@hadoop002 hadoop-2.6.0-cdh5.7.0]$ which jps /usr/java/j...原创 2018-10-30 15:44:51 · 416 阅读 · 0 评论 -
文件写流程
上传 hdfs dfs -put ruozedata.log /user/hadoop/day01/ (把本地文件ruozedata.log复制上传到hdfs下的/user/hadoop/day01/ 的文件夹下面) 注释流程 Client调filesystem.create(path),与nn rpc通信,check path是否已经存在及有没有权限创建;(rpc通信是面试题)假如OK,...原创 2018-11-12 14:51:02 · 160 阅读 · 0 评论 -
hdfs写流程
流程图如下: Client调用FileSystem.create(filePath),去与NN节点进行RPC通信,check该路径下的文件是否已经存在?是否有权限创建该文件?假如OK,就创建一个新的文件,但是不关联任何的block,返回一个FSDataOutputStream对象;假如不OK,就返回错误信息 Client调用FSDataOutputStream对象的write方法,将第一个块写...原创 2018-11-12 16:12:10 · 133 阅读 · 0 评论 -
Linux下MySQL的二进制安装及部署
检查是否已经安装1. 用ps -ef结合管道符查看mysql的进程 rpm -qa |grep -i mysql (查看rpm包)# 上传、解压、重命名1. rz tar xzvf mv# 创建组和用户1. groupadd -g 101 dba useradd -u 514 -g dba -G root -d /usr/local/mysql mysqladmin(用户,主组,组,家目录,用户...原创 2018-10-27 16:05:40 · 214 阅读 · 0 评论