文洲的专栏

参数配置不同的参数对集群性能影响很大，除了之前基础与安装中指定的参数，还有一些中要的参数值得注意，包括如下Broker参数Topic 管理auto.create.topics.enable：是否允许自动创建 Topic，一般设为false，允许集群管理员统一分配和管理。unclean.leader.election.enable：是否允许 Unclean Leader 选举，一般设为false，不允许落后太多的副本参与选举。auto.leader.rebalance.enable：是否允许定

kafka有不同的发行版和版本号，部署时选择什么样的硬件等都决定kafka不同的特性和性能，在正式上线前通常需要考虑如下选择：发行版本选择当kafka作为一个开源框架有自己的一套生态，不仅有原生的kafka框架，也有开源公司在社区版本基础上扩展开发的发行版，相比来说提供的功能更多，使用更加友好，但是定制性下降，目前主流版本如下：Apache Kafkakafka的社区发行版，最正宗，大公司一般在此基础上定制自己的版本，但是特性相比较少，比如缺少自带的集群监控系统，个人用适用于简单流处理场合。另外

最近准备换工作，又过一遍常规go基础，发现还是很多细节需要细扣下，顺便分享给需要的朋友参考，既是自我提升，也能加快开发效率。基础用好多值传递和常量自增定义，很多时候事半功倍。const ( east = iota + 1 south west earth)const ( On = 1 << iota Off Unknown)func TestBase(t *testing.T) { // 支持多值传递 a := 1 b := 2 a, b =.

在运动控制中，运动轴的回零是一个共性的问题。本文介绍回零的基本原理和实际策略，讲的是共性的问题，最后针对PMAC的回零提供相关代码。

虽然常说做C/C++编程的程序员转做PHP编程很快可以上手，但是对于PHP中的引用和C++的差别比较大，这种差别更多是由于C++和PHP的变量存储结构不同造成的，本文试图详解一下PHP中的引用，对C++中的引用只是作对比时提及，如果要了解C++的引用请参考《C++ Primer》一书。理解本文最好先看一下笔者PHP变量存储结构的博文和变量赋值行为的博文，本文说明PHP引用特别是对象引用和函数返回引...

总结常见的类基本概念中的容易混淆和弄错的地方。 1.const[1].函数声明为const，无法修改类成员变量的值，声明和实现都需要加const关键字[2].const函数还是可以正常访问const和非const成员变量[3].声明变量为mutable表示变量是特殊的，在const中还可以改变值class Test1{public: Test1(); void D...

本博文讲解了DDB转DIB的函数GetDIBits的使用方法和应用，给出了屏幕截图保存到磁盘上的代码和完整的仿QQ截图软件的源代码。

1.datax简介datax是阿里开发的大数据同步引擎，现在使用越来越广泛，其基本原理就是各种输入输出统一转换成中间格式，中间层处理各种控制来完成整个过程。具体详细截取段文档如下DataX本身作为离线数据同步框架，采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中。Reader：Reader为数据采集模块，负责采集数据源的数据，将数据发送给Framework。Writer： Writer为数据写入模块，负责不断向

背景尽管大数据处理越来越流行，但是少不了本地python处理大量数据的场景，这时候单线程处理效率较低，本文以csv探讨常用的几种python本地并行处理数据方式。1.自分割处理顾名思义，就是自己分割文件，起多线程处理数据，相对比较麻烦，但是效率很高。主要就是按照指定大小分割文件，使用信号量控制并行线程个数，具体实现如下：# 自己分割文件，分块多线程处理class ParallelSelfSplit: def __init__(self, max_thread_num=multip

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结问题使用hbase shell时我们经常会按前缀查询，如下scan 't1', {ROWPREFIXFILTER => 'row2'}现在想在java client中实现类似的按前缀查询，如何做呢？网上给的解决方案大多是基于PrefixFilter的，代码如下public void scane..

集群模式说明安装JDK/Scala安装hadoop安装Spark下载安装测试开启独立集群开启shell执行语句测试集群模式说明如第一节所说，spark依赖的存储引擎和资源调度框架均可以替换，上一节默认都在本地，要改成集群模式，只需要把对应的存储引擎和计算引擎替换上即可。这里主要讲独立集群模式(standlone)和yarn集群模式：前者只依赖hdfs作为...

hive简介hive简单安装- 快速测试- 生产环境配置hive简介hive是标准hadoop体系的一员，常作为OLAP的数据仓库。hive存储一般基于HDFS或HBase构建，查询计算过程依赖 Apache Tez™, Apache Spark™, 或MapReduce。没有定义专门的数据格式，数据格式可以由用户指定，用户定义数据格式需要指定三个属性：列分隔符（通常为空格、”\...

mysql简介安装注意事项mysql简介mysql算是当前使用最广泛的数据库，常见概念中包含如下几个部分MySQL - MySQL服务器。你需要该选项，除非你只想连接运行在另一台机器上的MySQL服务器。MySQL-client - MySQL 客户端程序，用于连接并操作Mysql服务器。MySQL-devel - 库和包含文件，如果你想要编译其它MySQL客户端，例如Pe...

Hadoop三大组件：HDFS/MR/Yarn，前面已经详述了计算模型MR的全过程，都说Hadoop的思想是移动计算而不移动数据，这一切基于hadoop的分布式文件系统HDFS。这两节详述hdfs的的工作过程/原理和注意事项。读写流程结构首先看下HDFS的构成如下图Client：客户端。NameNode：master，它是一个主管、管理者，存储元数据。DataNode：slave，...

基础Kafka是基于Scala开发的多分区、多副本基于ZooKeeper协调的分布式消息引擎系统。和传统的消息队列/消息中间件不同，如下图，kafka一般当作集群用，支持如下功能：消息系统：类似传统消息队列(中间件)的功能，常用于系统解耦和异步处理，相比前辈它提供了消息顺序性和回溯消费等功能。存储系统：Kafka默认将消息顺序保存到磁盘上，其提供了多副本机制，非常适合做长期数据存储系统。...

基础zookeepr是一个最先由Yahoo开发的分布式协调服务，支持高性能、高可用的分布式协调服务，常用于数据发布/订阅、负载服务、命名服务、分布式协调/通知，集群管理、Master选举、分布式锁和分布式队列等功能。通常ZK组成如下的集群，集群分为Leader、Follower和Observer三种角色，通过ZAB协议选举出Leader，三种角色都能提供读服务，Observer相对Follow...

经常遇到需要在本地搭建分布式环境的需求，这需要搭建一套本地的多虚拟机机互联，要求：1.每台虚拟机能上网2.虚拟机之间能ssh访问3.虚拟机和主机之间能相互访问一般采用NAT的方式组网，这里记下全流程，以供备忘。组网原理NAT的原理不再详述，可参考这篇文章，具体示意图如下。可以看到：多个虚拟机都连接到Vmnet8虚拟交换机，从而保证在一个网段，虚拟机间能够相互访问虚拟交换机连接到N...

编写步骤本地测试提交集群运行下载编写步骤引入spark库这里使用maven <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core --> <dependency> <groupId>org.apache.spark</gro...

RDD分类RDD 操作演示RDD核心概念-弹性分布式数据集类似Map/Reduce始终使用KV数据对，Spark中RDD可以保存所有类型数据，类似数据库中的一张表。RDD是不可变的，通过变换操作，返回全新RDD，原来RDD不变。RDD两种操作：变换(Transformation)map,filter,flatMap,groupByKey,reduceByKey,aggr...

安装JDK/Scala安装hadoop安装Spark- 下载- 安装- 测试安装JDK/Scala参考前文安装hadoop参考前文这里我们只需要使用HDFS作为存储，所以只需要start-dfs.sh启动分布式文件系统即可安装Spark下载下载位置 http://spark.apache.org/downloads.html注意选择适合对应hadoop版本的sp...

hadoop存在问题spark优点Spark技术栈Spark体系架构核心架构hadoop存在问题基于磁盘，运行慢函数函数较少，只有map/reduce，不够灵活spark优点基于内存，优先存储在内存使用DAG(有限无环图)，优化流程基于RDD数据集，提供更多的操作函数，且可以基于Scala或Python Shell快速验证原型Spark技术栈如下，基于Sp...

使用Scala原因API足够优雅简单，快速上手，函数式特别适合处理数据，代表Kafka和Spark和基于JVM的hadoop生态结合好，可以混合java速度快，静态编译，相对其他JVM速度快安装和配置首先需要安装Java 8(添加JAVA_HOME到bin目录和设置CLASSPATH)Scala下载位置，mac和windows可以直接使用安装包，也可以解压安装配置和Java类似，...

jenkins安装jenkins配置go插件安装编译配置参考文档jenkins安装安装包下载位置，可以直接安装对应系统安装包，也可以使用通用安装包.war文件，这里使用war包安装。单独运行Jenkins可以作为一个独立的应用程序在其自己的流程中运行， 内置Java servlet 容器/应用程序服务器（Jetty）。运行命令java -jar jenkins.war...

thrift go 使用批量写入写入的几处坑源码下载thrift go 使用和python使用类似，使用go 也需要通过thrift接口访问hbase，参考之前，如下编译thrift接口thrift -gen go ./Hbase.thrift目录gen-go下即为生成的hbase访问库，也可以直接使用附件生成好的库，当前使用的hbase 2.x环境。thrift1接口建...

聚合继承实战通常使用maven主要使用它的自动拉取包的功能，在此基础上我们考虑如何组织大型项目，一般大型项目都由多个模块组成，这些模块分别有相同和不同的jar包依赖，各个项目模块之间也存在依赖关系，怎么合理组织这些项目呢，这需要用到maven很重要的功能——聚合和继承，配合这两者使用，可以完成最合理的maven配置。聚合主项目A包含模块B和C，希望A编译时自动编译B和C，如何实现...

定义引用依赖范围依赖传递仓库定义maven使用POM(Project Object Model, 项目对象模型)文件 pom.xml来管理依赖。首先，默认定义一个包是通过指定groupId、artifactId、version、packaging和classifier构成的唯一坐标来完成的。<groupId>junit</groupId><ar...

下载安装配置生命周期插件下载下载位置，目前直接使用3.x版本即可安装直接解压到对应目录即可，配置M2_HOME环境变量指向解压后目录，一些软件会默认引用这个环境变量来查找Maven的安装。然后配置path变量指向M2_HOME/bin，便于命令行直接使用。配置优先使用~/.m2/setting.xml配置，否则使用默认的M2_HOME/conf/setting.xml配...

用途和原理程序编写其他参数设置源码和参考用途和原理前面写MR都是使用的java，但是通常数据分析人员不一定会java，难道还要去学习下java再写MR？实际上不用，hadoop已经考虑到了这个问题，所以它提供了一个中间工具，帮助我们可以直接使用其他脚本语言比如python/ruby等语言编写MR任务，这就是hadoop streaming。正式编写前，先看看streaming的...

fs shell拷贝和移动distcp 原理distcp 操作方法fs shell拷贝和移动通常我们使用hadoop提供的fs shell来完成hdfs文件管理。为了对比dictcp，先看下常用的-cp和-mv的使用。现有目录/lib包含文件1.data 2.data-cp如下操作hadoop fs -cp /lib /lib2 拷贝生成相同结构的lib2had...

原理命令使用方式演示不足原理Hadoop的文件存储的单元为一个块（block），block的数据存放在集群中的datanode节点上，由namenode对所有datanode存储的block进行管理。每个文件对应的block块信息称为元数据，这些数据保存在namenode上。如果存在大量小文件，会导致namenode上的元数据急剧膨胀，而这些元数据一般存放在namenode内存中...

反范式很重要不用区分行和列牢记有序和行键设计- key均匀化- 组合key(索引)设计不同于传统关系数据库围绕数据先建模再考虑查询，HBase(Cassandra等NOSQL)强调围绕查询进行建模，干什么活做什么设计，海量数据就没必要多余的设计了。具体总结包含如下三大原则：反范式很重要传统关系数据库中，期间遵循数据设计的三大范式，减小数据冗余，彼此间通过关系引用，hbase...

逻辑存储模型物理存储模型存储过程- 查询- 写入- 删除hbase为什么可以存储PB级的数据还可以保证千万QPS的并发和ms级的访问速度，这得离不开它巧妙的存储模型和存储过程。另一方面，只有清楚了解hbase存储模型和存储过程才能设计好hbase最关键的行键。逻辑存储模型逻辑上，可以把Hbase看成一个多维的哈希表，行键(Rowkey)-列族(Column Family)-...

数据库发展NoSQLSharding-nothing存储选型要搞懂大数据存储选型，首先必须得了解数据库的发展历史，了解关系数据库的优势和缺点，才能进一步考虑如何处理这些问题。数据库发展简单来说，数据库的发展是跟随数据量的发展来发展的，最开始的时候LAMP已经足够使用，当海量大数据出现后，如何存储和查询这些数据就成了人们考虑的问题，这时候人们自然想到从两方面入手：硬件...

下载和版本选择安装Java环境解压安装包配置开启和测试下载和版本选择官网下载 https://hbase.apache.org/downloads.html镜像下载 https://supergsego.com/apache/hbase/当前我下载的是2.0.4的稳定版，这也是当前公司集群布置的版本，靠谱!现在很多公司还在用0.9x/1.x版本，2.x版本相对来说无论是...

flag自定义flag完全自定义解析命令参数的解析是常用功能，go中借助flag包来完成这一功能。flagflag使用很简单，包括如下3步：预声明参数变量绑定参数解析和调整帮助显示参数解析，按照预定义方式绑定到变量//预声明变量var name string//绑定参数变量func init() { flag.StringVar(&name, "n...

GOPATH- 多个工作区问题- 相同后缀路径导入问题dep包管理go modules包管理按照历史来说，目前go1.12为止，官方有三种包管理方式，分别是：原始的GOPATH1.9开始支持的go dep1.11开始支持的go modules三种方式并不是后者淘汰前者，就目前来看各有各的使用场景，新的兼容旧的方式，如果新学习的话建议直接使用go modules。GO...

全局变量和局部变量几种括号区别- 圆括号()- 方括号[]- 大括号{}各种配置文件- 登录shell- 交互式shell- 非交互式shell全局变量和局部变量变量设置var=xxx，var和=中间能不能有空格，否则var会被当作命令执行。全局变量必须使用export导出，否则在子shell中无法生效。几种括号区别bash中最让人崩溃的是各种表达方式的微弱差别含义...

Bulk LoadingImporttsv生成HFile导入HBase自定义MR生成HFile导入HBase注意事项源码下载Bulk Loading向hbase写入数据常用两种方式：客户端 API写入Mapreduce任务TableOutputFormat格式输出然而，对于超大量的数据写入，这两种方式都不合适，会非常占用内存和耗时而且JVM GC和...

环境准备连接查询扫描源码下载前文有说thrift连接操作hbase略显麻烦，happybase完美解决这些问题，操作接口很类似hbase shell，性能和异常处理相对官方版本也做了诸多优化，可谓真的相当的happy了。唯一的问题是这是个第三方库(Github地址)，目前作者还在维护，除非你要完全跟上最新Hbase 接口或者希望多个语言接口尽可能保证一致，强烈推荐此库。环境准备...

环境准备连接查询扫描源码下载上篇文章讲述了python如何通过thrift连接操作hbase，是官方最常用方法，但是略显麻烦。下面介绍两种更易用的场合，在指定的场景中可以考虑使用，本节介绍thrift2，下节介绍happybase方式。环境准备thrift2是当时为了适应新的Java API提出来的。它的操作和接口与Java API接口很像，但是目前没有完全支持所有thrif...

thrift环境准备连接查询扫描源码下载thrift环境准备hbase是接口API是java的，如果需要通过python来操作的话，可以使用thrift服务。使用thrift需要部署thrift接口服务和thrift客户端环境，thrift负责将操作请求翻译后调用Java API操作，客户端thrift负责序列化请求后传输。示意如下：客户端和接口可以装在同一台机器上，也可以...

编译问题下载业界两大RPC框架thrift(Facebook)和protobuf(Google)现在可是用的非常普遍，linux上编译thrift遇到不少坑，记下来供有需要的朋友参考。编译系统环境：操作系统为CentOS 6.5g++版本4.4(要求必须g++版本 &gt;= 4.2)下载：http://thrift.apache.org/download当前编译...

MR常用需求MR应用程序模板程序演示和演示MR常用需求在进一步讲解MR各个组件前，先详细说下编写常用MR需要考虑的点。之前讲过最简单MR如何编写，而在实际应用中，为了工程考虑和复用性，还需要考虑配置解析、执行环境准备、任务参数设置、目录清理。配置解析：默认hadoop jar执行时使用集群当前配置文件配置。如下图，输入hadoop fs时出现如下通用选项，可以通过命令行-con...

1. 三大过程Map侧ShuffleReduce侧Shuffle2. 六大组件InputFormatOutputFormatSerilizerComparatorCombinerPartitioner1. 三大过程上一节演示了最简单的MR任务的编写，可以看到其实很简单，说简单点就是套模板。但是要想用好hadoop这一利器，需要了解更多执行细节，在基本概念中...

程序结构map部分reduce部分主入口测试运行历史分析下载程序结构从这一节开始，我会讲MR任务编写的方方面面，但是仅限在任务编写这块，不会过度涉及HDFS和Yarn调度的深入分析，计算时提也只是为了更好的理解MR任务。对于Mapreduce计算模型会深入介绍，只有了解Mapreduce计算模型计算模型才能真正掌握整个MR任务的编写，对于相关任务的调优和过程划分才会有清洗的...

预备环境准备下载和安装配置核心配置存储配置计算启动和测试预备环境准备JAVA环境配置建议使用JDK,最低使用Java 7，都2018了建议使用Java 8。官网下载最新版本JAVA，也可以源安装OpenJDK。/etc/profile添加环境变量如下：JAVA_HOME=/home/xxx/jdk1.8.0_181CLASSPATH=.:$JAVA_HOME/lib...

序言Hadoop的基本概念Hadoop生态推荐学习资料- 书籍- 视频- 文档序言做IT的都知道数据的重要性，尤其在这个万物互联的时代，一方面TB、PB级的数据迅速增长，另一方面需要从这些数据中获取各种各样的复杂信息。基于传统的关系数据库技术的数据分析已经满足不了海量数据的需求，这种情况下基于分布式的大数据技术诞生了，它是为了解决海量数据的存储和计算的。毫无疑问的是，就当...

KMP感觉是个魔咒，每次看的时候都理解了，等到一段时间后又忘了，很多人觉得自己理解了，真正写代码时又写不出来。归根到底是没理解透彻，这次彻底研究了下，发现网上流传的代码没那么好理解，所以自己写了一版，原理都是一样，但是相对好理解，理解了这一版代码再看经典实现就都明白了。原理KMP的核心在于减少回溯，回溯的关键在于生成next数组，KMP原理如下图，在T中查找S，当产生失配时，i不动，回溯j...

很久之前写过，用栈实现四则运算，现在会看当时的实现有两个问题：1.使用自己实现的容器，不够通用2.代码实现的封装性不够此次在原先的基础上，使用C++重构，直接使用STL容器类来实现四则运算。原理这里不再赘述，方法和注意事项参考之前文章理论部分核心算法1最通用的方法就是使用两个栈，分别对运算数和运算符压栈出栈实现运算符优先级计算，核心函数为算符比较函数。如下，注意这里的优...

这两天看到一种静态链表的实现，刚好可以拿来做资源池的实现，记下供参考。先说静态链表，这最开始为了给Pascal等没有指针的语言来实现链表的一种方式，为了模拟链表指针指向下一个节点的方式，静态聊表使用数组下标来表示下一个元素的位置。就算是在有指针的语言中，使用静态链表也有它的优势：初始化后相对顺序存储结构插入删除元素不需要移动元素，相对指针实现的链表不需要动态分配和删除元素内存，正好适用于固...

做web开发的基本绕不过ORM，很多时候ORM可以大大减少开发工作量，那么ORM是怎样实现的呢？其实很简单，说穿了一文不值，本文先实现一个简单的ORM然后分析下现在流行的python ORM框架peewee源码。ORM原理ORM即对象关系映射（Object Relational Mapping，简称ORM，或O/RM，或O/R mapping），简单来说就是把数据库的一个表映射成程序中的一...

相对python的简单来说，元类显得有些复杂了，但是理解元类会让你的python代码威力大大增加，理解元类需要了解一些python背后的东西，相信通过本文的叙述你能很快理解运用这一利器。类的本质首先我们思考下，python中的类是什么，如下代码：class ClassObject(): class_a = 1 def __init__(self): ...

相对python的简单来说，元类显得有些复杂了，但是理解元类会让你的python代码威力大大增加，理解元类需要了解一些python背后的东西，相信通过本文的叙述你能很快理解运用这一利器。类的本质首先我们思考下，python中的类是什么，如下代码：class ClassObject(): class_a = 1 def __init__(self): ...

在java等编译语言中，我们倾向于将成员变量设为private，通过public的get/set方法来访问对应的字段，这样做的好处在于get/set起到了拦截的作用，在这个点我们可以插入自己的逻辑，也就是常说的AOP(面向切面编程)，比如日志、缓存、延迟创建等操作。但是python并不推荐这种方式，主要是python的“约定大于配置“原则决定私有成员变量并不是完全不可访问，实际上只是变了下名字...

习惯了C++和Java OO(面向对象)思想的程序员刚转到python会有些不习惯，python中对很多操作都做了简化，完全的面向过程编程也很容易(事实上很多人确实在这样做)，但是实际上python针对类提供了很多有用的特性，了解这些可以编写更好的Python OO程序。1.命名元组默认的python元组访问时，需要按照序号访问，这样一是不易阅读二是扩展比较困难，python collec...

go被誉为互联网的C语言，它的同步其实还是基于传统语言，但是它的优势在于语言层面实现了协程支持，goroutine和channel组成的CSP模型，大大减少了并发编程开发难度，简单记下心得供有需要朋友参考。go中开辟新线程使用go 关键字即可，同步方法分为传统方法和基于通道(channel)的方法，通道包括无缓冲和有缓冲通道，这些同步方法结合保证了go并发编程的灵活性。 1.传统方法...

最近读《Java并发编程实战》，颇多感悟，这本书相逢恨晚，和作者前言所述一样，这本书偏向和并发相关的设计级策略和模式，让人真正掌握并发程序的编写，这里记下一些感悟，供有需要朋友参考。在现代CPU架构下，并发程序提高了系统资源利用率，优化了用户体验，简化了网络开发难度，但也是正是多线程错误使用引入了安全性问题，滥用多线程导致了性能问题。归根结底在于多线程引入了竞争，也就是多个线程共享了同一个可变...

1.如何判断变量类型有时候需要根据变量类型动态判断变量类型，可以有如下三种方法：func getType( i interface{}){ switch i.(type) { case int32: fmt.Println("int32 variable") case int64: fmt.Println("int64 variable") case int: fmt...

学习go语言有段时间了，这门语言确实极具生产力，虽然都说简单，但是由于编程和常见的OO语言套路差别有点大，很多地方还是需要调整对已有语言的认识，这里记下遇到的一些坑，供有需要的朋友查阅。1.main包的特殊性传统语言中对主入口的要求是main函数，如c++/java等，只需要保证这点即可，但是在go中还需要保证main包的唯一性。如下，在一个main包定义如下函数package ...

主要是笔者在实际开发中遇到的python函数相关的问题，关系到对python一些概念的深入理解，记下供参考。1.局部变量作用域问题python支持闭包，默认闭包中引用的变量读时按照由内而外的顺序(局部-&gt;外部-&gt;全局-&gt;内建)来搜索，但是在写时默认只找当前最近作用域，如果当前作用域没有则默认赋值时新建一个局部变量，如下代码：def test_local_var():...

最近在使用python中的multiprocessing模块时遇到一些问题，很多人应该遇到相同问题，简单研究下，供有需要的参考。首先，要明白multiprocessing的出现很大程度是为了解决python GIL锁带来的多线程低效问题，其次，注意Windows上和Linux上的进程、线程行为不一致。那么我们常遇到的问题如下：1.父进程开新的子进程完成任务，父进程关闭时，必须关闭子进程...

标题说是技巧，其实也是常常遇到的一些问题，有些方法尽管可以解决问题甚至是常用的，但是python提供了更好的解决方法。对应的演示我会注明推荐和不推荐的用法。判断列表空数据经常我们需要判断列表是否为空，都是用len判断长度，其实python自动会将空列表判断为False，因此直接判断即可，如下：def test1(): arr1 = [1, 2, 3, 4, 5] ar...

毫无疑问，Windows的流行推动了图形界面的发展，从最原始的Win32界面库到MFC，再到最近UWP界面库，Windows界面库的发展也代表了界面库和整个软件行业的发展方向。本文就简单梳理下整个Windows界面库的发展历程和现状。Win32Windows 整个系统的图形界面是建立在Win32图形界面接口上的，它提供了Windows界面编程的基本模型——显示管理窗口和消息循环分发事件。W...

从最早的图形用户界面操作系统Apply Lisa，到空前的windows 1.0，再到最新的Windows、苹果、Linux操作系统，图形用户界面已经是个人电脑不可缺少的部分。图形用户界面的发展是建立在成熟的图形学基础上的，本系列文章主要依托Windows 平台下的C++界面库来揭秘图形界面库原理，全方位的展现Windows界面库的发展历程和一个界面库是如何构成的。采用C++是因为系统提供的原生图...

最近遇到一个bug很有意思，java客户端加密后传给服务端，服务端是GO Listen请求后解密处理，但是服务端解密失败。排查过程如下：1.首先请求过程中有中间服务器转发，因此猜想可能是转发数据错误。由于发送数据为二进制流，因此对比客户端发送时与服务端接收到的数据的md5和base64，一致，排除中间传输错误。2.再猜想是不是加密解密方法设置不一样导致失败。因为加密解密用的RSA，网上资料显示不同...

演示x86上包含__in64类型的结构体数组反汇编跟踪过程，供参考。

介绍一种resize失败导致vector下标越界的场景，供参考。

同事测试时发现界面有个模块始终无法显示，使用Process Explorer查看发现对应dll没有加载,详细叙述了定位问题的过程和方法，供借鉴。

前面讲解了IE控件的常用方法，本节主要讨论如何调整WebBrowser 高级特性来完成我们想要的效果。本文演示如何禁用WebBrowser右键菜单，如何禁用3D边缘和滚动条，以及如何处理js错误通知，js错误通知封装成类，可以满足实际生产使用需求。

WebBrowser内嵌的网页中JS与本地C++代码可以相互调用，这样就可以最大程度利用C++强大的计算能力和与本地硬件通信。本文详细演示了JS和C++代码互相调用的方法，JS调用C++的类独立封装可直接修改使用。