zhm_feng-CSDN博客

原创 Scala面向对象的基本操作

单例对象在scala中,使用object创建的对象就是单例对象object对象不能带参数类的基本操作类的定义和构造器/** * @Author: zhm.Feng * @Date: 2019/3/19 13:13 *///类的主构造器定义在类的后面,使用小括号class Animal2(name: String, age: Int) { println("执行主构造...

2019-03-21 17:17:24 166

原创 Sqoop的导入和导出操作

sqoop导出操作HDFS上的数据/user/root/empdata001,15012454745,[email protected],13512454746,[email protected],15812454747,[email protected].修改远程登录mysql的配置use mysql;select host from user where user='root'...

2019-03-18 18:43:43 691

原创 Hive的SQL语法及简单使用

类型转换函数select cast("3" as int);将3转换为int类型select cast("2012-02-02" as date);将符合格式的字符串转换为 date类型,只能转换中间为'-'格式的字符串select cast(current_timestamp as date);当前时间数学运算函数select round(3.2); 四舍五入select ro...

2019-03-17 22:29:56 688

原创 HDFS中NameNode的checkPoint流程

SecondaryNameNode定期向NameNode发送check point请求NameNode将上一次checkpoint到现在的日志和fsimage一起发送到SecondaryNameNodeSecondaryNameNode在内存中读取fsimage和日志信息,并按日志对fsimage进行操作SecondaryNameNode将合并好的数据打包成.checkpoint文件发送给...

2019-03-16 22:39:18 1031 1

原创 MapReduce的执行流程

MapReduce的执行流程文件读取组件调用getRecordReader()方法,再调用LineRecordReader方法来读取切片文件读取完之后到Mapper中进行处理 Mapper处理完之后,数据进入环形缓冲区环形缓冲区数据超过80%时会溢出,每溢出一次数据,都会与上一次溢出的数据进行合并操作(归并排序法)数据合并完之后,reduce会主动拉取分区完的数据进入Reduce程序中执...

2019-03-14 22:39:46 327 1

原创 Hadoop集群的搭建

整体流程模拟集群中有三个slaves时1.修改虚拟机网络连接方式主机名 IP 映射文件关闭防火墙2.安装ssh客户端方便多台虚拟机传输数据3.安装jdk84.安装hadoop安装包配置环境变量安装准备文件先将虚拟机的网络模式选为NAT修改主机名vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=hdp01 ##配置...

2019-03-14 21:24:28 159 1

zhm_feng