2018年12月_高达一号

原创 Scala_Scala语法=》函数式编程

参考文章: 1.深入理解Scala中的函数式编程https://blog.csdn.net/a2011480169/article/details/53151279 2.scala的函数式编程（一）https://blog.csdn.net/lazy_moon/article/details/81771402 3.Scala函数式编程笔记https://b...

2018-12-27 14:21:28 415

转载 Flume_Flume占CPU资源高问题

原文地址：https://www.jianshu.com/p/0b8c59a1b58b 问题描述Flume多个配置合并后，发现占用cpu很高，利用top有30-50%的使用率，某几台机器60-100%，有时候还会挂起，挂起的时候，有个专门记录读取文件位置的json文件，都是0，似乎是因为某些原因卡住了。初步猜测是多线程问题引起的，但是没有挂起的时候正常采集的情况占用cpu也很高...

2018-12-26 12:05:18 1319

原创 Scala_Scala语法=》Scala 特质

参考文档Scala 特质全面解析https://www.cnblogs.com/nowgood/p/scalatrait.html Scala 中没有接口这样的概念，但是Scala 中有一种特殊类型的类，我们称其为特质。特质具有Java接口所具有的特性，除此之外，还具有一些Java接口不具备的特质。下面请跟随本篇文章踏入 Scala 特质的学习。 1.什么是Scala...

2018-12-24 22:05:50 357

转载 Spark — 读取Kafka 两种形式的区别- createDstream和createDirectStream

https://www.cnblogs.com/hd-zg/p/6188287.htmlspark读取kafka数据流提供了两种方式createDstream和createDirectStream。两者区别如下：1、KafkaUtils.createDstream构造函数为KafkaUtils.createDstream(ssc, [zk], [consumer group ...

2018-12-24 15:38:11 985

原创 Scala_Scala类 =》枚举类

Scala 中的枚举类比较有用，又和Java 不太一样，我们在这里整理一下。枚举主要用于表述语义更为清楚，例如，以下两个变量： ”7“ 与 MediaCode.SOHU，肯定是 Media.SOHU 更容易被理解。目录1.基础案例2.语法介绍3.扩展函数 1.基础案例基础的枚举, 示例如下：p...

2018-12-21 19:17:36 2524

原创 VMvare CentOS7 设置共享文件夹的方式

VMvare 对CentOS7 设置共享文件夹与一些版本有所区别。在设置共享文件夹的时候遇到了一些坑，记录一下。 Step 1 设置共享文件夹Step2 安装依赖包Step3 重新安装VMwareTools , 修改CD-ROM 加载的文件Step4 安装VMware ToolsStep5 挂起客户机 ..尴尬的步骤Step6 检查共享文件夹是否能被扫描到...

2018-12-19 23:23:52 2968

原创 CDH - CDH 最新版本 6.0.1 安装详解。超详细，并有各种问题解决方法

参考文章：官方文档 https://www.cloudera.com/documentation/enterprise/6/6.0/topics/installation.html CDH常见问题及解决方法（待续）https://blog.csdn.net/qq_24699959/article/details/80310070CDH 6.0.1 集群搭建「Proc...

2018-12-14 18:31:48 25063 15

原创 Linux_ SSH 配置免密登录，集群互通

参考文章：1.集群间多台机器SSH免密码登录（两种方法实现）https://blog.csdn.net/timchen525/article/details/755796112.hadoop启动集群的免密码登陆设置（超详解附流程图）https://blog.csdn.net/qq_25838777/article/details/806534813.Hadoop集群配置之免密登...

2018-12-14 17:22:30 1701 2

原创 Linux_NTP 网络同步 -> ntpd / CDH6

参考文章：解决CentOS7下用ntpdate同步时间问题https://blog.csdn.net/qq_27754983/article/details/69386408 Linux配置ntp时间服务器（全）https://www.cnblogs.com/quchunhui/p/7658853.html Cloudera 建议使用 NTP 使 Hadoo...

2018-12-11 23:04:53 2028

原创 Redis->Redis bitmap(位图) 相关操作与用户统计

1.分布式缓存Redis之bitmap、setbithttps://blog.csdn.net/u011489043/article/details/789901622.Redis的位图bitmaphttps://blog.csdn.net/chengqiuming/article/details/79118089 Redis 中有有一种数据结构，非常便于位图级别的统计方...

2018-12-10 16:52:12 3878

原创 Scala_方法:-》scala 中方法总结

本文主要针对于 Scala 中的方法进行一个总结:下面为本文的主要话题及思路： 1.方法种类: 1.1.类方法 1.2.对象方法2.方法访问权限限制： 2.1.非继承 2.2.继承体系下的访问权限 2.3 final 方法的限制3.方法参数： 3.1.默认参数 3.2.指定参数赋值4.方法返回值： 4.1.多返回值 Tupl...

2018-12-06 22:05:17 1399

原创 Scala_类-》类的继承

本篇文章主要讲解下 Scala 中类的继承，与方法/参数重载等问题。结合上面内容划分如下 1.Scala 类的继承2.类的继承权限变更3.类继承的注意事项4.重写变量5.重写方法/final 1.Scala 类的继承scala 类的继承与 Java 的继承并没有多大的区别都是使用 extend 关键字下面给出一个基本的继承例子...

2018-12-06 14:37:59 898

原创 Linux_VMware下配置_CentOS7固定IP

博主又开始瞎折腾了，现在CentOS7 已经出了好几个年头。于是博主就决心捣鼓下CentOS7，并为此买了2根16G内存条跟 1TB 的SSD。好了闲话少说，我们讲讲如何在VMware 下配置 CentOS7 的固定IP 参考文章1. CentOS 7下面配置静态IP2. CentOS7.2 设置静态ip 目录1.配置虚拟机网路2.配置固定IP 3...

2018-12-04 17:50:29 688

原创 Scala_类-》Scala 类的构造

本篇文章主要科普如何创建一个Scala的类，主要从以下几个方面阐述： 1. 基础的Scala构造函数 1.1 基础语法 1.2 构造参数对访问权限的影响 1.3 对构造函数增加限定符2.Scala类的辅助构造函数 2.1 辅助构造函数基本语法 2.2 辅助构造函数注意的事项3.辅助构造函数对主构造函数的调用4.继承关系下，调用父类构造函数...

2018-12-03 20:45:12 870

转载 Linux_Centos7 装系统后不能上网_激活网卡

参考文章：https://blog.csdn.net/qq_31382921/article/details/52174626 在虚拟机中以最小化方式安装centos7，后无法上网，因为centos7默认网卡未激活。而且在sbin目录中没有ifconfig文件，这是因为centos7已经不使用 ifconfig命令了，已经用ip命令代替, 并且网卡名称也不是eth...

2018-12-03 18:42:19 9558 2

迎难而上