- 博客(310)
- 资源 (7)
- 收藏
- 关注
RSS订阅
原创 专业术语
BSC Base Station Controller基站控制器DNDistinguished Name识别名GSMGlobal System for Mobile communications全球移动通信系统IMSIInternational Mobile Subscribe
2008-09-10 09:45:00
768
转载 Linux的缓存内存（cache memory）
PS：为什么Linux系统没运行多少程序，显示的可用内存这么少？其实Linux与Win的内存管理不同，会尽量缓存内存以提高读写性能，通常叫做Cache Memory。为什么Linux系统没运行多少程序，显示的可用内存这么少？其实Linux与Win的内存管理不同，会尽量缓存内存以提高读写性能，通常叫做Cache Memory。有时候你会发现没有什么程序在运行，但是使用top或free命令看到...
2018-10-26 14:09:34
455
转载 linux 查看cpu，memory
获取占用CPU资源最多的20个进程# ps aux|head -1;ps aux|grep -v PID|sort -rn -k +3|head -20 1获取占用内存资源最多的20个进程# ps aux|head -1;ps aux|grep -v PID|sort -rn -k +4|head -20 1 2该命令组合实际上是下面两句命令：ps ...
2018-10-26 14:03:42
490
原创 匹配 json
(?(DEFINE)(?<number>-?(?=[1-9]|0(?!\d))\d+(\.\d+)?([eE][+-]?\d+)?)(?<boolean>true|false|null)(?<string>"([^"\n\r\t\\\\]*|\\\\["\\\\bfnrt\/]|\\\\u[0-9a-f]{4})*")(?<array>\[(...
2018-10-10 15:11:09
842
转载 ubuntu“apt-get -f install”问题解决
正在读取软件包列表... 完成正在分析软件包的依赖关系树 正在读取状态信息... 完成 您可能需要运行“apt-get -f install”来纠正下列错误：下列软件包有未满足的依赖关系： openjdk-8-jdk : 依赖: openjdk-8-jre (= 8u111-b14-3~14.04.1) 依赖: openjdk-...
2018-08-04 09:41:01
1124
转载 算法的时间复杂度和空间复杂度详解
通常，对于一个给定的算法，我们要做 两项分析。第一是从数学上证明算法的正确性，这一步主要用到形式化证明的方法及相关推理模式，如循环不变式、数学归纳法等。而在证明算法是正确的基础上，第二部就是分析算法的时间复杂度。算法的时间复杂度反映了程序执行时间随输入规模增长而增长的量级，在很大程度上能很好反映出算法的优劣与否。因此，作为程序员，掌握基本的算法时间复杂度分析方法是很有必要的。 算法...
2018-07-26 09:08:24
825
原创 Spark笔记
Spark 系统架构应用程序(Application): 基于Spark的用户程序，包含了一个Driver Program 和集群中多个的Executor；驱动(Driver): 运行Application的main()函数并且创建SparkContext;执行单元(Executor): 是为某Application运行在Worker Node上的一个进程，该进程负责运行Task，并且负责将数据存...
2018-02-11 08:20:19
387
原创 HBase运维
HBase的shell命令操作1.1连接HBase shellwxl@wxl-pc:/opt/hbase$ ./bin/hbase shell可以通过输入help命令,来大致了解可以输入命令和Hbase存储的数据结构12.创建表必须输入表名和列族名(ColumnFamily name)hbase(main):002:0> create 'te
2017-09-01 11:10:19
439
转载 java 问题定位工具的使用
摘要: JDK本身提供了很多方便的JVM性能调优监控工具，除了集成式的VisualVM和jConsole外，还有jps、jstack、jmap、jhat、jstat、hprof等小巧的工具，本博客希望能起抛砖引玉之用，让大家能开始对JVM性能调优的常用工具有所了解。 现实企业级Java开发中，有时候我们会碰到下面这些问题： OutOfMemoryError，内存不足
2017-08-25 17:07:58
1825
转载 YARN工作原理
1. 概述YARN是一个资源管理系统，负责集群资源的管理和分配。如果想要将一个新的应用程序运行在YARN之上，通常需要编写两个组件：客户端和ApplicationMaster。由于这两个组件编写非常复杂，尤其ApplicationMaster，需要考虑RPC调用、任务容错等细节，所以，往往由专业的开发人员编写这两个组件，并提供给上层的应用程序用户使用。如果大量应用程序可抽象成一种通
2017-05-08 17:11:35
1507
转载 Spark任务提交jar包依赖解决方案
通常我们将spark任务编写后打包成jar包，使用spark-submit进行提交，因为spark是分布式任务，如果运行机器上没有对应的依赖jar文件就会报ClassNotFound的错误。 下面有三个解决方法：方法一：spark-submit –jars根据spark官网，在提交任务的时候指定–jars，用逗号分开。这样做的缺点是每次都要指定jar包，如果jar包少的话可以这
2017-05-08 14:05:20
1682
转载 phoenix修改表名
需求：在phoenix中将表名TABLE1，改为表名TABLE2步鄹：1）phoenix建立表名TABLE1 2）Hbase中修改表名TABLE1为TABLE2 3）phoenix建立表名TABLE2（格式同TABLE1） 4）查询phoenix中TABLE2注意：表结构一定要一样，要不然会导致数据错误//phoenix中的操作DROP TABLE TAB
2017-04-24 11:09:56
1639
转载 spark-submit
一旦用户的应用打包后，就可以使用bin/spark-submit脚本来启动，此脚本就会为Spark和它的依赖安排配置环境变量，还支持不同的集群管理和部署模式：12345678./bin/spark-submit \--class class>--mas
2017-04-21 17:01:10
578
转载 Phoenix中Sequence的用法
Phoenix--HBase的JDBC驱动序列（Sequence）是Phoenix提供的允许产生单调递增数字的一个SQL特性，序列会自动生成顺序递增的序列号，以实现自动提供唯一的主键值。 使用CREATE SEQUENCE语句建立序列的语法如下：create sequence [start with n][increment by n][mi
2017-04-21 16:58:58
930
转载 Phoenix二级索引(Secondary Indexing)的使用
摘要HBase只提供了一个基于字典排序的主键索引，在查询中你只能通过行键查询或扫描全表来获取数据，使用Phoenix提供的二级索引，可以避免在查询数据时全表扫描，提高查过性能，提升查询效率 测试环境：数据约370万数据格式：(数据来自搜狗实验室)三节点集群（一主两从，hadoop和HBase属同一集群） 目录Cov
2017-04-21 16:57:39
1628
转载 SHDP--Working With HBase (二)之HBase JDBC驱动Phoenix与SpringJDBCTemplate的集成
Phoenix:Phoenix将SQL查询语句转换成多个scan操作，并编排执行最终生成标准的JDBC结果集。 Spring将数据库访问的样式代码提取到JDBC模板类中，JDBC模板还承担了资源管理和异常处理的工作，Phoenix作为JDBC驱动同样可以将其与Spring集成，提高开发效率。 具体操作如下： 1.配置applicationContex
2017-04-21 16:55:50
1580
转载 SHDP--Working with HBase(三)之HBase+Phoenix实现分页
先简单讲讲只用HBase来实现分页的思路：HBase利用scan来扫描表，通过startKey,stopKey来确定扫描范围，在需要进行分页时可以结合HBase提供的PagefFilter过滤扫描的行数使scan返回N条数据达到分页的目的（N为每页的记数），此时有以下两种方案达可以达到分页目的： 1. 在得到scan结果后把上一页的最后一条数据作为scan下一页时的star
2017-04-21 16:54:28
2916
2
转载 HBase高性能复杂条件查询引擎
写在前面本文2014年7月份发表于InfoQ，HBase的PMC成员Ted Yu先生参与了审稿并于给予了肯定。该方案设计之初仅寄希望于通过二级索引提升查询性能，由于在前期架构时充分考虑了通用性以及对复杂条件的支持，在后来的演变中逐渐被剥离出来形成了一个通用的查询引擎。Ted Yu对“查询决策器”表示了关心，他指出类似的组件同时也是Phoenix, Impala用于支持SQL查询的核心组
2017-04-21 16:32:21
458
转载 HBase二级索引的设计(案例讲解)
摘要最近做的一个项目涉及到了多条件的组合查询，数据存储用的是HBase，恰恰HBase对于这种场景的查询特别不给力，一般HBase的查询都是通过RowKey(要把多条件组合查询的字段都拼接在RowKey中显然不太可能)，或者全表扫描再结合过滤器筛选出目标数据(太低效)，所以通过设计HBase的二级索引来解决这个问题查询需求多个查询条件构成多维度的组合查询，需要根据不
2017-04-21 16:31:17
3418
转载 HBase的基本操作
1.输入hbase shell进入HBase shell2.创建表：命令格式:create '表名称'，'列族名称1'，'列族名称2'，'列族名称N'创建一个表名称为users，列族名称为sex和info的表3.使用list命令查看刚所建的表4.添加数据:命令格式：put '表名称','行名称','列族名称'（列族只有一列的情
2017-04-21 16:28:51
609
转载 oracle 查询最近执行过的 SQL语句
oracle 查询最近执行过的 SQL语句select sql_text,last_load_time from v$sql order by last_load_time desc;SELECT sql_text, last_load_time FROM v$sql WHERE last_load_time IS NOT NULL and sql_text lik
2016-03-28 17:46:31
5888
转载 Hadoop 2.6.0动态添加节点
本文主要从基础准备，添加DataNode和添加NodeManager三个部分详细说明在Hadoop2.6.0环境下，如何动态新增节点到集群中。基础准备在基础准备部分，主要是设置hadoop运行的系统环境修改系统hostname（通过hostname和/etc/sysconfig/network进行修改）修改hosts文件，将集群所有节点hosts配置
2016-03-27 17:57:21
418
转载 Hadoop YARN新特性—label based scheduling
在最新的hadoop 2.6.0版本中，YARN引入了一种新的调度策略：基于标签的调度机制。该机制的主要引入动机是更好地让YARN运行在异构集群中，进而更好地管理和调度混合类型的应用程序。注意，截止这篇文章发布时，只有apache hadoop 2.6.0和hdp 2.2两个发行版具有该特性（CDH5.3尚不支持，CDH5.4会支持），在hadoop自带的调度器重，只有 Capac
2015-06-26 07:46:45
1239
转载 spark on yarn作业运行的jar包缓存优化
这几天一直在追查spark on yarn的作业运行中的jar包分发，以及执行后的jar包删除的问题。从一开始的毫无头绪，到后来逐渐清晰，到后来通过hadoop的两个很简单的参数配置解决了问题。不得不说，虽然问题不大，对某些大牛们来说也真是小case，但是追查问题，定位问题到最终解决问题的过程，对我来说真是很不错的体验和学习过程。下面详细描述一下遇到的问题，以及解决的过程，给后面的同学一点参考。
2015-06-23 16:49:52
1327
转载 如何编写YARN应用程序
概念和流程一般的概念就是“Application Submission Client”提交一个”Application”到YARN的Resource Manager。客户端（client）与ResourceManager之间通过”ClientRMProtocol”协议进行通信。如果有需要，客户端通过 ClientRMProtocol#getNewApplication 调用来获得一个新的“
2015-06-19 09:36:56
1251
转载 YARN应用开发流程
1 概况YARN是Hadoop系统上的资源统一管理平台，其主要作用是实现集群资源的统一管理和调度。YARN是一个高速发展中的资源管理与调度平台，目前还不是很完善，当前只支持CPU和内存的分配。作为资源调度器，YARN支持如下几个资源调度语义：获取指定节点的特定资源量，如node1上4个虚拟CPU核，1GB内存(YARN上的资源使用容器包装)；获取指定机架上的特定
2015-06-16 13:45:20
832
转载 zookeeper原理（转）
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些应用中使用，因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookee
2015-06-16 13:09:23
418
转载 spark总体概况
1. spark vs hadoopPS:Databricks团队特别说明，为了和Hadoop对比，这次用于排序的Spark集群没有使用它们的内存缓存机制，他们也是用硬盘存储的中间结果！ http://tieba.yunxunmi.com/mtieba-hadoop-kz-58b9e430a78747f7fb1ea9f9e6374597.html 但是我们要明白，spark
2015-06-04 17:28:18
495
转载 使用Spark+Cassandra打造高性能数据分析平台
Cassandra是一个分布式、高可扩展的数据库，用户可以创建线上应用程序，实时处理大量数据。 Apache Spark是应用于Hadoop集群的处理引擎，在内存条件下可以为Hadoop加速100倍，在磁盘上运行时也能实现十倍的加速。Spark还提供SQL、流数据处理、机器学习和图型计算等功能。 Cassandra与Spark的结合，让端到端的分析工作流的实现更为容易。另外，交易型数据库
2015-06-04 16:40:53
9649
1
转载 Spark+Cassandra优化
问题1：reduce task数目不合适解决方案：需要根据实际情况调整默认配置，调整方式是修改参数spark.default.parallelism。通常的，reduce数目设置为core数目的2-3倍。数量太大，造成很多小任务，增加启动任务的开销；数目太小，任务运行缓慢。所以要合理修改reduce的task数目即spark.default.parallelism问题2：s
2015-06-04 16:36:18
1631
转载 Spark分布式计算和RDD模型研究
1背景介绍现今分布式计算框架像MapReduce和Dryad都提供了高层次的原语，使用户不用操心任务分发和错误容忍，非常容易地编写出并行计算程序。然而这些框架都缺乏对分布式内存的抽象和支持，使其在某些应用场景下不够高效和强大。RDD(Resilient Distributed Datasets弹性分布式数据集)模型的产生动机主要来源于两种主流的应用场景：Ø 迭代式算法：迭代式机器
2015-05-12 13:17:11
704
转载 资源管理框架（mesos/YARN/coraca/Torca/Omega)分析
1 资源调度的目标和价值1.1 子系统高效调度任务之间资源隔离，减少争抢。 任务分配调度时结合资源分配，各个任务分配合理的资源，充分利用系统资源，减少资源利用不充分的问题。 资源调度结合优先级，优先级高的分配更多的资源。1.2 提高全系统的资源利用率各个子系统，存在不同时期，对资源需求不一样的情况，平滑系统资源的利用。1.3 支持动态调整切分资源，增强系统扩展性。系统对资源
2015-04-27 15:13:49
891
转载 SDP协议详细介绍
SDP 协议分析 http://www.cnblogs.com/qingquan/archive/2011/08/02/2125585.html一、SDP协议介绍SDP 完全是一种会话描述格式 ― 它不属于传输协议 ― 它只使用不同的适当的传输协议，包括会话通知协议（SAP）、会话初始协议（SIP）、实时流协议（RTSP）、MIME 扩展协议的电子邮件以及超文本传输协
2015-04-24 17:44:38
5022
转载 Spark编程指南笔记
park编程指南笔记 2015.02.03本文是参考Spark官方编程指南（Spark 版本为1.2）整理出来的学习笔记，主要是用于加深对 Spark 的理解，并记录一些知识点。1. Spark介绍产生原因1、MapReduce具有很多局限性- 仅支持Map和Reduce两种操作- 迭代效率低- 不适合交互式处理- 不擅长流式处理2
2015-04-21 14:39:55
611
转载 Javassist学习总结
概述 Javassist是一款字节码编辑工具，可以直接编辑和生成Java生成的字节码，以达到对.class文件进行动态修改的效果。熟练使用这套工具，可以让Java编程更接近与动态语言编程。 下面一个方法的目的是获取一个类加载器（ClassLoader），以加载指定的.jar或.class文件，在之后的代码中会使用到。[java] view plainco
2015-04-16 13:06:20
470
转载 Scala开发教程(5): 类和对象 (二)
前面提到Scala比Java更加面向对象，这是因为Scala不允许类保护静态元素(静态变量或静态方法）。在Scala中提供类似功能的是成为“Singleton（单例对象）“的对象。在Scala中定义Singleton对象的方法除了使用object，而非class关键字外和类定义非常类似，下面例子创建一个ChecksumAccumulator对象：1objec
2015-04-14 09:43:20
598
转载 准备Scala开发环境
在学习Scala之前，首先需要安装好Scala开发环境。1. 首先安装Java SDK ，可以使用1.6或最新版本2. 安装最新版Scala语言支持-SCALA 2.11.0-M5 下载3. 如果你喜欢使用IDE,如Scala IDE或Intelli J IDEA,可以下载安装，这一步是可选的。建议在刚开始学习Scala编程时，直接使用命令行（就像很多年前开
2015-04-14 09:30:08
496
转载 Scala開發教程(1): 開始神奇的Scala編程之旅
前面寫了四篇Scala Play Framework開發教程，起了個頭，個人覺得Scala應用會越來越廣泛，因此開通了Scala中文社區論壇以達到推廣Scala開發的目的。該論壇設立了Scala編程（包括Slick，Akka編程），Scala 開發工具（Scala IDE, IntelliJ IDEA等），目前使用Scala最廣泛的應用是開發Web 應用，所有論壇列出了使用Play Frame
2015-04-14 09:28:31
630
转载 Scala开发教程(2): 起步Scala
在详细介绍Scala编程之前，我们先用两篇文章给你一个Scala的整体印象，更重要的是让你开始写代码。强烈建议初学Scala编程者编译运行本教程的每个示例。如果你是个非常有经验的程序员，那么前面的这两篇文章可以使得你或的足够的知识开始编写一些实用的程序。第一步 ，学习使用交互式Scala解释器开始使用Scala的最简单的方式是使用交互式Scala解释器，只要输入Scala表达式，Sca
2015-04-14 09:28:11
872
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人