- 博客(17)
- 收藏
- 关注
RSS订阅原创 任务流TaskFlow的应用
TaskFlow主要由OpenStack社区在维护，致力于为一组任务的执行提供高效细粒度的控制。在Cinder组件源码中，创建卷等耗时比较长且容易出错的操作便利用到了taskflow，同样的，Neutron组件也使用它控制创建网络的复杂操作。一、taskflow的特性TaskFlow作为OpenStack的通用流程引擎，能让作业执行变得容易，同时满足三种特性。1.独立性不相关的原...
2019-04-25 16:29:36
12278
原创 Cpython解释器特性
一、Python程序的执行过程标准的Python实现为Cpython，它分两步来运行Python程序，第一步：把文本形式的源代码解析并编译成字节码；第二步：用一种基于栈的解释器来运行第一步产生的字节码。二、确保Cpython解释器状态保持一致的方法Python采用GIL（global interpreter lock）机制来确保一致性，以防止Cpython受到抢占式多线
2018-01-20 23:11:07
1319
原创 网卡bonding设置，添加到vlan
实现将两块网卡虚拟成为一块网卡，这样两块网卡具有相同的IP地址而聚合成一个逻辑链路。bonding运行在混杂promisc模式，即接收网络上所有的帧。它修改了驱动程序中的mac地址，将两块网卡的Mac地址改成相同的，网卡接收到特定mac帧后，把相应的数据帧传送给bond驱动程序处理。一、查看内核是否支持 bonding：$ cat /boot/config-kernel-version
2016-08-02 10:19:40
8857
原创 各种Hadoop软件集成包 其它Apache项目
开发的一些安装包是为了捆绑其它软件，例如Hive、HBase、Pig，一些细微的版本不兼容问题只有在系统处理特殊任务时才会显现。所以，把这些软件打包发布可以提供一组兼容的软件。另一些开发人员使用私有扩展增强Hadoop，使其既可以成为免费开源产品也可以成为商业产品Cloudera开发的Hadoop版本http://www.cloudera.com/hadoop，它是目前使用最广泛的Hado
2016-06-08 09:39:13
1680
原创 使用Flume收集数据
Flume进程的配置包含三个部件：信源、信宿和信道。Flume还提供了一个自定义信源、信道和信宿的接口。信源在接收到足够数据可以生成一个Flume事件时，它会把新创建的事件发给信道，但如何处理事件却是对信源不可见的。Flume支持logger、file_roll、HDFS、HBase、Avro、null（用于测试）和IRC（用于互联网中继聊天服务）信宿，信宿等着从信道接收事件，接收到数据后
2016-05-05 09:48:43
4761
原创 运行时类型信息
RTTI（在运行时，识别一个对象的类型）可以在程序运行时发现和使用类型信息，这就打破了只能在编译期执行面向类型的操作的限制。使用它，可以查询某个Shape引用所指向的对象的确切类型，然后选择或者剔除特例。在面向对象编程中，一般让代码只操纵对基类的引用。在Java中，所有的类型转换都是在运行时进行正确性检查的。
2016-05-04 22:30:57
1727
原创 Hadoop和关系数据库之间的数据流通
Sqoop可以在Hadoop和关系数据库之间拷贝数据。在很多方面，它和Hadoop的交互方式与Hive和Hadoop的交互方式完全相同下载和配置Sqoop下载已编译包到/usr/local，建立符号链接并更新环境变量。$ ln -s sqoop-xx.tar.gz sqoop$ export SQOOP_HOME=/usr/local/sqoop$ export PATH=${
2016-05-02 10:10:26
2523
原创 Hive-数据分析和数据仓库
为缩短MapReduce作业的开发周期（编辑/编译/提交），完全摒弃这一过程，加速从分析数据到生成结果的过程，Hive使用MapReduce对存储于HDFS上的数据进行分析，且定义了一种类SQL查询语言（HiveQL）。它使用HiveQL语句表述查询操作，并立该将其自动转化成一个或多个MapReduce作业，然后执行这些MapReduce程序并将结果反馈给用户。这样就明显拓宽了Hadoop和Map
2016-04-26 11:18:26
626
原创 hadoop故障及其应对
为更好了解各种故障，可以修改数据块的大小和提升NameNode的日志级别。dfsadmin命令可查看集群的整体状态，包括容量、每个节点的数据块数量、活跃节点数及最后通信时间等。under replicated blocks：表示副本数量小于复制因子的数据块个数。
2016-04-20 10:43:36
4259
原创 泛型中的边界与通配符
边界可以强制规定泛型可以应用的类型，更重要的是你可以将这个类型参数限制为某个类型子集，这样就可以调用这些类型的方法。interface HasColor{ java.awt.Color getColor();}class Dimension { public int x,y,z;}//多边界，按类在前，接口在后的顺序class ColoredDimension{ T item;
2016-04-19 16:48:29
428
原创 编写MapReduce程序
MapReduce就是一系列键值变换一个完整的MapReduce作业，涉及三个要素：Mapper、Reducer的Driver，可以将处理过程描述成{K1,V1} -> {K2,List} ->{K3,V3}MapReduce Java API的Mapper基类以键值数据作为输入输出类型，其map()方法以输入的键值对作为参数。而用户只需编写处理单条记录的Mapper类，框架会负责将大
2016-04-11 22:27:02
3027
原创 泛型的思想及应用
为编写更通用的代码，要使代码能够应用于N种不具体的类型，而不仅仅为几个接口或类服务。这时候引入了泛型的概念，它的意思是"适用于丰富的类型"，旨在解除类或方法与所使用的类型之间的约束。使用别人已经构建好的泛型类型会相当容易，但要自己创建一个泛型实例，会遇到许多令人惊讶的事情。掌握C++当中的模板概念，将帮助我们去理解泛型的本质以及java泛型的局限
2016-04-07 19:00:45
497
原创 序列化机制
Java的对象序列化机制将那些实现了Serializable接口的对象转换成一个字节序列，序列化一个对象就是将它编码成一个字节流。只要对象实现了Serializable接口，可以获得Java提供的序列化功能。public interface Serializable{}可以看出，此接口并没有任何方法，仅是一个标记接口。序列化是为了支持两种主要特性。一是Java的远程方法调用（RMI），当向
2016-04-04 16:49:00
339
原创 GFS MapReduce BigTable关系
Google三大核心系统，从更高层次设计的典范，成为了大数据处理技术的开拓者和领导者，具有史诗般意义。
2016-03-31 09:00:33
4392
1
原创 AOP实现原理
AOP是要为分散的对象加入系统服务、公共行为，如权限认证，日志，安全和事务等，它再次剖开已封装过的对象内部，将那些与业务无关，却为组件所调用的逻辑封装起来。 实现AOP的技术通常有两种：动态代理；静态织入，即在编译期间织入代码。动态代理要么依赖基于反射的JDK Dynamic Proxy，要么基于动态字节码生成技术
2016-03-29 21:30:10
269
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人