- 博客(10)
- 收藏
- 关注
RSS订阅原创 Spark 学习笔记
Spark基础及基本概念 1.Spark是什么？a)集群计算b)扩展了MapReducec)内存计算2.Spark 组件a)Spark Coreb)Spark SQLc)Spark Streamingd)MLlib(分类，回归，聚类，协同过滤)e)GraphX 并行图计算f)YARNg)Mesos3.Spark 核心概念a)驱动器程序b)RDDc)SparkContextd)Maven和sbt打...
2017-06-08 17:24:27
120
原创 搭建Spark前要做的配置
安装Spark 1.下载VM http://sw.bos.baidu.com/sw-search-sp/software/a08321b624453/VMware_workstation_full_12.5.2.exe 2.安装vm，使用ctrl+alt切换内外鼠标 3.下载ubuntu http://old-releases.ubuntu.com/releases/14...
2017-06-08 17:22:52
176
原创 Hbase 学习笔记
基础及基本概念 1.大数据定义：量级（TB以上），速度（毫秒级），种类（结构或者非结构，流式数据） 2.Hadoop适合离线批量计算 3.Hbase 类似google的 bigTable 4.Hbase 特性 a)容量大： 百亿行，百万列 b)面向列：列存放 c)稀疏性：为null的列不存储 d)扩展性：基于HDFS ，易扩展 e)高可靠：集群防丢失，HDFS副本高可靠，...
2017-06-08 17:21:11
169
原创 otter及canal学习总结
1.同一台机器是否可以配置多个node？（OK，可以的，但是基本没必要，由于node本身可以配置给两个channel来使用，并且可以指定两个源的库同步，因此只 需要将单个node的能量释放即可，除非有必要保证两个node的升级不相互影响） 2.同一个源的不同的库同步是否可以使用同一node来同步？（OK，可以的，但是必须配置两个canal名字，且使用两个pipeline） ...
2017-06-08 17:19:43
725
原创 idea的一些插件
一、与JIRA集成 jira是一个广泛使用的项目与事务跟踪工具，被广泛应用于缺陷跟踪、客户服务、需求收集、流程审批、任务跟踪、项目跟踪和敏捷管理等工作领域。idea可以很好的跟它集成，参考下图： File -> Settings ->Task -> Servers 点击右侧上面的+号，选择JIRA，然后输入JIRA的Server地址，用户名、密码即可 然后打开Ope...
2016-06-01 10:41:29
212
原创 加密解密
应同事所邀把ASP.NET(C#)常用数据加密和解密方法列出供大家参考，特此发布出来，希望对大家有点帮助。数据虽来源于网络，系仰天一笑悉心整理。 ASP.NET(C#)常用数据加密和解密方法汇总 一、 数据加密的概念 1、 基本概念 2、 基本功能 3、 加密形式 二、 数据加密的项目应用和学习 1、...
2016-05-25 10:04:51
1053
原创 软件产品质量
1.软件产品质量 软件产品质量通常可以从以下六个方面去衡量(定义) : l 功能性(Functionality)，即软件是否满足了客户业务要求； l 可用性(Usability)，即衡量用户使用软件需要付出多大的努力； l 可靠性(Reliability)，即软件是否能够一直处在一个稳定的状态上满足可用性； l ...
2016-05-23 14:02:43
401
原创 高性能IO模型浅析
服务器端编程经常需要构造高性能的IO模型，常见的IO模型有四种： （1）同步阻塞IO（Blocking IO）：即传统的IO模型。 （2）同步非阻塞IO（Non-blocking IO）：默认创建的socket都是阻塞的，非阻塞IO要求socket被设置为NONBLOCK。注意这里所说的NIO并非Java的NIO（New IO）库。 （3）IO多路复用（IO Multiplexi...
2016-05-23 12:02:28
97
原创 提高代码质量
如何提高你代码质量 人跟人的能力千差万别，所以写出来的代码质量，肯定是不同的。有的人，写一个小逻辑，可能需要100行，而有的人，可能仅仅需要10行。代码永远会有Bug，在这方面没有最好只有更好。模块化与面向对象是实现高效无错代码的方法。高效无错代码需要思想与实践的不断反复。如何做到代码高效无错，提高代码质量的方法有哪些？又有哪些经验和技巧呢？ 一、代码质量 软件是交付给用户，并由用...
2016-05-23 12:01:26
96
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人