- 博客(17)
- 收藏
- 关注
RSS订阅原创 Golang 1.13 优缺点整理
Go 1.14更新：Module support in the go command is now ready for production use.We encourage all users to migrate to go modules for dependency management.好消息呀！Go module终于被官方推荐使用在生产中了。官方也建议将项目迁移到Go mod...
2020-03-08 19:04:43
1429
原创 JUC基础笔记
juc，即java.util.concurrent包的缩写，掌握了juc，就是拿到了Java并发编程的钥匙。在《Java并发编程实战》等书中，已经详细介绍juc用法，如果你懒得看书，或者是忘了juc的用法，想快速回忆一下，可以看我这篇教程。本教程很长，有很多的代码示例供食用~基础volatile关键字volatile关键字不属于juc的内容，但是为了铺垫后面的内容，这里先介绍下。当多个...
2020-03-08 19:01:03
293
原创 GO基础笔记(二) 闭包及其陷阱
GO是支持函数式编程的，在GO中，函数是一等公民，它可以作为变量被赋值，作为参数被传递到其它函数中。那么既然能够将函数作为变量，GO就一定是支持闭包的。闭包概念什么是闭包呢？其实很简单，我们都知道，变量是有其作用域的。例如，在函数中声明定义的变量就只能够在当前函数中使用，当函数结束时，该变量空间就会被释放，外部无法再使用。但是，闭包允许我们将变量的作用域进行扩充。当我们的函数会返回另外一个...
2020-03-06 17:50:56
304
原创 GO基础笔记(一) defer详解
GO基础笔记(一) defer详解defer是Golang一大语言特色，它扮演的是类似Java中finally的角色。用于执行释放资源的一些操作。defer语句定义在函数内，后面跟一个函数，被defer的函数会在defer所在的函数结果前被执行。defer能够保证函数不管以何种方式结束（return或panic），被defer的函数一定被执行。释放资源defer可以被定义在函数中的任何地方...
2020-02-29 17:43:48
438
原创 Scala 基础语法
Scala 基础语法Scala是多范式的编程语言,本教程着重介绍函数式编程.本教程适用于已经掌握了Java编程语言的人.常量和变量var可以用来声明一个变量:var var_name[:type] = xxx其中,属性的类型声明可以省略.那么scala会自动推测属性的类型.即使类型可以省略,scala和python不一样,还是有类型的区别的.Scala官方不建议...
2018-04-22 17:22:49
481
原创 Hive 笔记
Hive 笔记Hive是基于Hadoop的一个数据仓库工具。可以将结构化数据映射为一张数据库表。并提供类似SQL的HiveSQL(HQL)进行数据查询等功能。Hive底层将HQL转换为MapReduce任务来操作HDFS中的数据。利用Hive，可以快速实现MapReduce功能。而不必编写MapReduce程序。如果不会编写Java程序，又想使用MapReduce来处理大数据，就可以使...
2018-04-22 17:21:28
330
原创 Storm 笔记
Storm 笔记Apache Storm是一个开源的分布式实时计算系统，可以简单的，可靠地处理大量的数据流。Storm可用于实时分析、在线机器学习、持续计算、分布式RPC等。Storm部署和运维很便捷，并且支持多种编程语言的开发。结构Storm的结构称为topology。由stream、spout、bolt组成。topography维护了一个拓扑结构，其中，spout可以从...
2018-04-22 17:20:16
315
原创 HBase 进阶笔记
HBase 进阶笔记高级查询HBase的Java API提供了一些高级的查询功能。所谓的“高级”，其实一点也不高级，无非就是对HBase的表进行一些范围化的查询和数据的过滤，而不是用get仅取出一个行键的内容。为了测试方便，我这里插入一些简单的测试数据，待会就是对这些数据进行查询：put 'tab1','rk1','cf1:c1','val1'put 'tab1','rk...
2018-04-22 17:18:21
504
原创 HBase 基础笔记
HBase 基础笔记HBase是基于Hadoop的一款数据库工具。它来源于Google的一篇论文BigTable。后来由Apache做了开源实现，就是HBase。HBase是一种NoSQL(非关系型数据库)。适合储存非结构化和半结构化的数据，适合储存稀疏的数据(空的数据不占据空间)，HBase是面向列(族)储存的。在底层是按照列为单位进行数据储存的。不同于Hive，即使HBase是基于...
2018-04-22 17:16:53
302
原创 Hadoop 笔记四：高可用分布式集群策略
Hadoop使用了master/slave的集群架构。master包括了NameNode和ResourseManager两个重要的Hadoop节点。所以master是一种非常重要的节点。一定要保证master的硬件资源是最好的。但是，即使是最好硬件，最稳定的机器也可能出现问题，而master又是如此重要，所以我们需要一种高可用架构，使得即使master坏掉，整个集群也能迅速恢复工作。Had...
2018-03-31 19:24:57
395
原创 Hadoop笔记三: MapReduce
MapReduce是一个分布式的计算框架。最初由谷歌的工程师开发，基于GFS的分布式计算框架，主要用于搜索领域解决海量数据的计算问题。Cutting根据这个框架，设计了基于HDFS的MapReduce框架MapReduce可以让程序员远离分布式计算编程，不需要考虑任务调度、逻辑切块、位置追溯等问题。他们就可以把精力集中在业务上了。MapReduce由两个阶段组成：Map和Reduce。...
2018-03-31 19:23:05
347
原创 Hadoop笔记二：HDFS
HDFS是Hadoop为了储存海量数据而使用的一种分布式文件系统。这种文件系统是运作于多个机器之上的。HDFS为了保证数据储存的可靠和读取性能，会把保存的数据进行切块后进行复制并且储存在集群的多个节点中。HDFS存在名字节点NameNode和数据节点DataNode：NameNode：储存元数据信息，也就是具体文件，block，datanode之间的映射关系。数据保存在内存和磁盘中。...
2018-03-29 22:52:52
236
原创 Hadoop笔记一：伪分布式安装
Hadoop笔记一：伪分布式安装Hadoop安装分为单机、伪分布式和完全分布式。单机模式是Hadoop的默认模式。在初次安装Hadoop后，将使用这个模式。此时Hadoop的三个配置文件为空。单机模式不使用HDFS，也不加载任何Hadoop守护进程，仅用来调试MapReduce程序。伪分布式，Hadoop的守护进程在一台机器上运行，模拟一个小规模的集群。HDFS和MapReduce可以...
2018-03-29 22:50:38
297
原创 Zookeeper基础
Zookeeper 基础Zookeeper(以下简称ZK), 动物管理员。是一个分布式应用程序的协调服务框架，是Hadoop的一个重要组成组件。分布式应用需要解决的问题：数据一致性统一的命名服务配置管理分布式锁集群管理ZK安装参见官网教程…(需要安装在Linux系统下)ZK指令和数据结构ZK有一个最开始的节点(/)。ZK的节点叫做znode节点，每个...
2018-03-12 11:02:17
787
原创 Java并发工具
Java 并发工具包：java.util.concurrentjava并发工具包来自jdk 1.5，它使得Java的并发编程变得更加容易。下面介绍一些常见的API，更多请查阅官方文档。数据结构和辅助类：BlockingQueue阻塞队列是一种特殊的队列。这种队列是有限的。阻塞队列适用于消费者生产者模型：生产线程可以向阻塞队列插入数据，如果队列已满，那么生产线程...
2018-03-10 23:10:53
259
原创 NIO基础
NIO - 非阻塞式IONIO, No blocking IO, 非阻塞式IO。指的是在发生IO操作时不会产生阻塞，利用NIO可以处理高并发和高访问的场景。和之相对的是BIO, Blocking IO，这是标准的阻塞IO。BIO一个经典的BIO的例子是一个最简单的C/S模型程序。以下为代码：public class BIODemoServer { public ...
2018-03-10 23:08:58
216
原创 Qt4简单截图功能的实现
截图是一个非常常见的功能。但是Windows自带的截图功能我们发现并不好用。所以很多时候我们打开QQ就是为了做一个截图。QQ的截图功能还是非常强大的，今天，我将用Qt4手工做一个简单的截图。这个截图比不上QQ的截图，只实现了基本功能。没有复杂的操作，供大家学习、参考。
2017-06-02 13:31:38
2372
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人