2018年09月_奋斗的小乌龟

原创 Java8新特性入门一 (行为参数化)

通过行为参数化传递代码应对不断变化的需求有实体如下：Apple.javaimport lombok.AllArgsConstructor;import lombok.Data;import lombok.NoArgsConstructor;import lombok.ToString;@Data@NoArgsConstructor@AllArgsConstructor@To...

2018-09-30 22:01:45 595

转载 CentOS7修改主机名的三种方法

https://blog.csdn.net/xuheng8600/article/details/79983927

2018-09-27 11:22:15 158

原创 Scala入门七——scala的泛型

泛型介绍泛型类、泛型函数泛型用于指定方法或类可以接受任意类型参数参数在实际使用时才被确定泛型可以有效地增强程序的适用性使用泛型可以使得类或方法具有更强的通用性七种形式[A&amp;amp;lt;:] :上边界：表达了泛型的类型必须是&amp;quot;某种类型&amp;quot;或某种类型的&amp;quot;子类&amp;quot;案例：override def toSet[B &amp;

2018-09-18 19:16:13 694

原创 Scala入门七——scala的柯里化

定义多个参数列表的函数就是柯里化函数，所谓的参数列表就是使用小括号括起来的函数参数列表两种表示形式：代码如下object CurryingDemo { //柯里化两种表示形式： //1. def sum1(x:Int)(y:Int)=x+y def sum2(x:Int)(y:Int):Int = {x+y} //2. def sum3(x:Int) = (y:I...

2018-09-18 17:42:42 351

柯理化欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编...

2018-09-18 11:44:33 3971

原创 Scala入门六——Akka编写一个RPC框架,模拟多个Worker连接Master

1. Masterpackage com.ghq.rpcimport akka.actor.{Actor, ActorRef, ActorSystem, PoisonPill, Props}import language.postfixOpsimport com.typesafe.config.ConfigFactoryimport akka.event.Loggingimpo...

2018-09-17 14:22:25 524

原创 Scala入门五——使用Akka编写rpc入门案例

Master代码package com.ghq.rpcimport akka.actor.{ ActorSystem, Actor, ActorRef, Props, PoisonPill }import language.postfixOpsimport com.typesafe.config.ConfigFactoryimport akka.event.Logging/**...

2018-09-17 10:52:54 244 1

原创 Scala入门四——模式匹配

1. 值匹配def m1():Unit={ val arr = Array(1,2,3,4,5) val rand = Random.nextInt(arr.length) println(rand) val m = arr(rand) match { case 1 =&gt; "one" case 2 =&gt; "two" ...

2018-09-16 11:00:15 169

原创 Scala入门三——面向对象

1. 类的声明和private关键字说明package com.ghq.scala.oo/** * private[ghq]:限定当前类的访问包路径为ghq，及其子包 * * Person 后面跟的private限定该类的构造方法为私有，只有该类的伴生对象可以使用构造方法 * * Person 后面跟的private[this] 限定该类的构造方法为私有，该类的伴生对象...

2018-09-16 10:53:35 262

原创 Scala入门二——入门练习

入门练习题package com.ghq.scala/** * @author ${user} */object Hw { def main(args: Array[String]): Unit = { //创建一个List val lst0 = List(1,7,9,8,0,3,5,4,6,2) //将lst0中每个元素乘以10后生成一个新的集合...

2018-09-14 16:35:58 357

原创 Scala入门一——单击版wordcount

单机版wordcount/** * @author ${user} */object WordCount { def main(args: Array[String]): Unit = { //定义集合 val lines = List("hello tom hello jerry jerry","hello kitty jerry kitty hello...

2018-09-14 14:44:19 187

原创 Flume入门三_采集日志文件到HDFS

1. 配置文件如下：[hadoop@langzi01 conf]$ cat tail-hdfs.conf 内容如下：#Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1#describe/configure the sourcea1.sources.r1.type =...

2018-09-10 14:47:23 518

原创 Flume入门二__Flume入门案例

1. 下载并解压Flume[root@langzi01 ~]# wget http://www.apache.org/dyn/closer.lua/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz[root@langzi01 ~]# tar -zxvf apache-flume-1.8.0-bin.tar.gz#重命名[root@langzi01 ~]#...

2018-09-10 11:48:12 173

原创 Flume入门一__Flume简介

官方文档：http://flume.apache.org/FlumeDeveloperGuide.html开发者文档：http://flume.apache.org/FlumeDeveloperGuide.html个人博客参考：https://www.cnblogs.com/zhangyinhua/p/7803486.html...

2018-09-10 11:16:34 199

原创 hive七__一个很难的面试题

求单月访问次数和总访问次数1、数据说明字段说明： ** 用户名，月份，访问次数数据内容如下：A,2015-01,5A,2015-01,15B,2015-01,5A,2015-01,8B,2015-01,25A,2015-01,5A,2015-02,4A,2015-02,6B,2015-02,10B,2015-02,5A,2015-03,16A,201...

2018-09-08 22:56:57 1538 1

原创 hive六__Hive自定义函数和Transform

编写UDF函数，来将原来创建的buck_ip_test表中的英文国籍转换成中文iptest.txt文件内容：1 张三 192.168.1.1 china2 李四 192.168.1.2 china3 王五 192.168.1.3 china4 makjon 192.168.1.4 china1 aa 192.168.1.1 japan2 bb ...

2018-09-08 22:04:02 260

原创 hive入门五

join操作1. 创建两张表create table t_a(id int,name string) row format delimited fields terminated by ',';create table t_b(id int,name string) row format delimited fields terminated by ',';a.txt内容如下...

2018-09-06 16:11:11 119

原创 hive入门四--分桶

对于每一个表（table）或者分区， Hive可以进一步组织成桶，也就是说桶是更为细粒度的数据范围划分。Hive也是针对某一列进行桶的组织。Hive采用对列值哈希，然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。把表（或者分区）组织成桶（Bucket）有两个理由：获得更高的查询处理效率。桶为表加上了额外的结构，Hive 在处理有些查询时能利用这个结构。具体而言，连接两个在（...

2018-09-06 12:00:34 999

原创 hive入门三

1. 建表语句：CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name -- (Note: TEMPORARY available in Hive 0.14.0 and later) [(col_name data_type [COMMENT col_comment], ... [const...

2018-09-05 20:32:17 476

原创 hive入门二（将hive发布为服务）

hive发布为服务进入hive的bin目录[hadoop@langzi01 bin]$ cd /usr/soft/hive/bin/查看列表[hadoop@langzi01 bin]$ ll内容如下：-rwxr-xr-x 1 hadoop hadoop 1031 Apr 1 2017 beelinedrwxr-xr-x 3 hadoop hadoop 40...

2018-09-04 11:01:28 171

原创 hive入门一

1. 创建仓库hive> create database shizhan03;OKTime taken: 0.379 seconds相当于在hdfs里面创建了一个目录，路径如下：/user/hive/warehouse/shizhan03.db2. 使用仓库hive> use shizhan03;OKTime taken: 0.042 seconds...

2018-09-04 10:46:51 140

原创 Hive的安装和配置mysql数据库

hive是建立在hadoop上的，当然，你如果只搭建hive也没用什么错。说简单一点，hadoop中的mapreduce调用如果面向DBA的时候，那么问题也就显现了，因为不是每个DBA都能明白mapreduce的工作原理，如果为了管理数据而需要学习一门新的技术，从现实生活中来说，公司又需要花钱请更有技术的人来了。　　开个玩笑，hadoop是为了存储数据和计算而推广的技术，而和数据挂钩的也就属于...

2018-09-04 10:39:03 1022

转载使用docker安装mysql

参考内容：https://www.cnblogs.com/loovelj/p/7823093.html

2018-09-03 19:45:55 101

原创 CentOS上安装docker

1. 查看linux的kernel版本[root@langzi01 ~]# uname --r3.10.0-862.11.6.el7.x86_642. 使用 sudo 或 root 权限的用户登入终端3. 确保yum是最新的[root@langzi01 ~]# yum update4. 添加 yum 仓库[root@langzi01 conf]# tee /e...

2018-09-03 19:31:54 84

原创实现用户手机流量统计（ReduceTask并行度控制）

需求：1.实现用户手机流量统计（ReduceTask并行度控制）数据如下：保存为.dat文件(因为以\t切分数据，文件格式必须合适)13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 24681 20013826544101 ...

2018-09-02 20:06:03 582

原创 MapReduce切片机制以及maptask和reducetask并行度设置

MapReduce运行流程1最先启动MRAppMaster，MRAppMaster根据job的描述信息，计算需要的maptask实例的数量，然后向集群申请机器，启动相应数量的maptask进程。2 maptask启动之后，根据给定的数据切片范围进行数据处理。A 利用指定的inputformat来获取RecordReader对象读取数据，形成KV输入。B 将输入的kv对传递给客户定义...

2018-09-02 18:35:23 907

原创 wordcount代码实现

map的编写import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;...

2018-09-02 16:49:09 2082

原创 Hadoop的RPC调用示例

定义一个通讯协议的接口public interface ClientNamenodeProtocal { long versionID = 1L; String getMetaData(String path);}实现类public class MyNameNode implements ClientNamenodeProtocal{ @Overr...

2018-09-01 19:53:27 199

原创 HDFS的java客户端

API_01//获取一个配置对象Configuration conf = new Configuration();//查看配置对象的所有内容Iterator&lt;Entry&lt;String, String&gt;&gt; it = conf.iterator();while(it.hasNext()) { System.out.println(it.next());}...

2018-09-01 19:48:28 154

转载 HDFS之namenode管理元数据机制及一些问题

namenode对数据的管理采用了三种存储形式：内存元数据(NameSystem) 磁盘元数据镜像文件数据操作日志文件（可通过日志运算出元数据）元素据存储机制1、内存中有一份完整的元数据(内存meta data) 2、磁盘有一个“准完整”的元数据镜像（fsimage）文件(在namenode的工作目录中) 3、用于衔接内存metadata和持久化元数据镜像fsi...

2018-09-01 16:08:04 562

guo20082200的博客