Simple 专栏

三、Host-Only（仅主机模式）Host-Only模式其实就是NAT模式去除了虚拟NAT设备，然后使用VMware Network Adapter VMnet1虚拟网卡连接VMnet1虚拟交换机来与虚拟机通信的，Host-Only模式将虚拟机与外网隔开，使得虚拟机成为一个独立的系统，只与主机相互通讯。其网络结构如下图所示：通过上图，我们可以发现，如果要使得虚拟机能联网，我们可以将主...

二、NAT（地址转换模式）刚刚我们说到，如果你的网络ip资源紧缺，但是你又希望你的虚拟机能够联网，这时候NAT模式是最好的选择。NAT模式借助虚拟NAT设备和虚拟DHCP服务器，使得虚拟机可以联网。其网络结构如下图所示：在NAT模式中，主机网卡直接与虚拟NAT设备相连，然后虚拟NAT设备与虚拟DHCP服务器一起连接在虚拟交换机VMnet8上，这样就实现了虚拟机联网。那么我们会觉得很奇怪...

由于Linux目前很热门，越来越多的人在学习Linux，但是买一台服务放家里来学习，实在是很浪费。那么如何解决这个问题？虚拟机软件是很好的选择，常用的虚拟机软件有VMware Workstations和VirtualBox等。在使用虚拟机软件的时候，很多初学者都会遇到很多问题，而VMware的网络连接问题是大家遇到最多问题之一。在学习交流群里面，几乎每天都会有同学问到这些问题，写这篇详解也是因为群...

collect_list( [列名]) 将某一列转换成数组 不去重 collect_set( [列名]) 将某一列转换成数组 去重 concat_ws([分割符],[数组]) 将数组按照分割符转换成字符串 split( [列名],[分割符]) 将字符串切分成 数组 explode( [数组] ) 将数组炸开成行 posexplode( ...

Mac 键盘符号和修饰键说明⌘ ——> Command⇧ ——> Shift⌥ ——> Option⌃ ——> Control↩︎ ——> Return/Enter⌫ ——> Delete⌦ ——> 向前删除键(Fn + Delete)↑ ——> 上箭头↓ ——> 下箭头← ——> 左箭头→ ——> 右箭头⇞...

to_date：日期时间转日期函数select to_date('2015-04-02 13:34:12');输出：2015-04-02from_unixtime：转化unix时间戳到当前时区的时间格式select from_unixtime(1323308943,’yyyyMMdd’);输出：20111208unix_timestamp：获取当前unix时间戳select un...

Hive官方语法join_table: table_reference table_factor [join_condition] | table_reference {LEFT|RIGHT|FULL} [OUTER] JOIN table_reference join_condition | table_reference LEFT SEMI JOIN table_r...

Fetch抓取是指，在 hive-default.xml.templaet 文件中，hive.fetch.task.conversion 属性。该属性在 Hive 中对某些情况的查询可以不使用 MapReduce 计算，而使用 fetch task 来执行。<property> <name>hive.fetch.task.conversion</na...

Hive 建表语句CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ....

定义静态路由：是指路由器中设置固定的路由表，除非网络管理员进行干预，否则静态路由项不会发生变化。 动态路由：是指路由器能够自动建立路由表，根据网络中路由器之间通信，传递信息，利用收到的路由信息更新路由表。优点静态路由：简单、高效、可靠、网络安全、转发效率高、不占用网络带宽。 动态路由：灵活，能够自动适应网络结构的变化，无需管理员手工维护，减轻了管理员的工作负担。缺点静态路由：网...

五、散列表（Hash）散列函数： 散列函数是这样的函数，即无论你给它什么数据，它都还你一个数字。 散列（哈希）函数应用广泛： 快速查找 文件安全性传输交验 可以防止重复 （一旦发现重复，该哈希函数就不安全了。也就是说被破译了。） 缓存/ 记住数据，以免服务器再通过处理来生成它们。 散列表的填装因子 = （散列表包含的元素数）/（位置总数） 填装因子越低，发生冲突的可能性越小，散列...

最近看了一本算法入门书——算法图解。封面的插画很好玩儿。最吸引我的还是封面里的一句话：向小说一样有趣的算法入门书。上个封面，大家感受一下：一、算法简介1.1 二分查找 一个有序数组中找一个数的位置（对应该数字所在数组下标index）def binary_search(list, item): low = 0 high = len(list) - 1 ...

NoSQL的四大种类NoSQL数据库在整个数据库领域的江湖地位已经不言而喻。在大数据时代，虽然RDBMS很优秀，但是面对快速增长的数据规模和日渐复杂的数据模型，RDBMS渐渐力不从心，无法应对很多数据库处理任务，这时NoSQL凭借易扩展、大数据量和高性能以及灵活的数据模型成功的在数据库领域站稳了脚跟。目前大家基本认同将NoSQL数据库分为四大类：键值存储数据库，文档型数据库，列存储数据库和...

Stream是一个集合这个集合，可以用于存放，无穷多个元素，但是这无穷个元素并不会一次性生产出来，而是需要用到多大的区间，就会动态的生产，末尾元素遵循lazy规则(即：要使用结果才进行计算的) 。1)  使用#::得到一个stream def numsForm(n: BigInt) : Stream[BigInt] = n #:: numsForm(n + 1) 2)...

reduce 化简将二元函数引用于集合中的函数。// 源码 reducedef reduce[A1 &gt;: A](op: (A1, A1) =&gt; A1): A1 = reduceLeft(op)// 源码 reduceLeftoverride /*TraversableLike*/def reduceLeft[B &gt;: A](f: (B, A) =&gt; B)...

Zip 拉链(合并)在开发中，当我们需要将两个集合进行 对偶元组合并，可以使用拉链。// 拉链val list1 = List(1, 2 ,3)val list2 = List(4, 5, 6)val list3 = list1.zip(list2) //((1,4), (2,5),(3,6))println("list3=" + list3)注意事项：拉链的本质就是两...

在上篇文章里，我们比较了 Kylin 和 Druid 这两个重要的 OLAP引擎的特点，也分析了 Kylin on HBase 的不足，得出了使用 Druid 代替 HBase 作为 Kylin 存储的方案，最后介绍了美团开发的 Kylin on Druid 的架构和流程。在这篇文章中，我们接着上篇文章，将介绍如何使用 Kylin on Druid，Kylin on Druid 的性能表现，以及在...

在大数据分析领域，Apache Kylin 和 Apache Druid （incubating） 是两个普遍使用的 OLAP 引擎，都具有支持在超大数据上进行快速查询的能力。在一些对大数据分析非常依赖的企业，往往同时运行着 Kylin 和 Druid 两套系统，服务于不同的业务场景。 在2018年8月的 Apache Kylin Meetup 活动上，美团点评技术团队分享了他们的 Kylin...

Scala中提供了比java，c更加强大的switch语句——match，而且不用担心因为忘记写break语句而发生case穿透。1.更好的 switch 与if，类似match也是表达式// 匹配字符的函数def charMatch(c: Char) = c match { case '+' =&gt; 1  case '-' =&gt; -1  case _ =&gt; ...