Apache-Arrow是什么？ Arrow是一种数据存储格式，以及对这个格式的一系列API及多语言的SDK。当上层应用使用这个接口访问这些数据的时候，大家就不用在不同的私有格式之间转换。从而省去了大量的序列化和反序列化的计算资源。...
你真的会用read()读【普通文件】吗？ 原型如下：如果是读【普通文件】，可能的返回是：注意，-1出错的时候，errno会返回错误码。其中有一个errno需要引起我们注意，就是EINTR。手册里面是这么解释的：当任何数据没有读到的时候，如果调用被中断，返回-1且errno设置为EINTR。言外之意是如果读到了，会返回读了多少，这种有数据的不会返回-1。看起来这个异常情况需要处理，避免真的不凑巧刚调用，被信号中断了，那其不是被误认为出错了吗？可是真的是这种情况要处理吗？还真有人说需要处理（见https://blog.csdn.net/feit241
HDFS-Spark-Hudi环境的搭建及测试 由于需要进行Hudi的详细选型，本文从0开始搭建一个Spark+Hudi的环境，并进行简单使用。1）假设在Linux进行环境安装，操作系统选择Ubuntu 22.04 LTS版本。2）Ubuntu的源配置清华源。3）JDK安装完毕（当前是1.8版本，1.8.0_333）。2.2 localhost免密登录3. Hadoop安装Hadoop安装的是单节点伪分布式环境，版本选择和后继的Spark选择有关联。例如：Hadoop 3.2.3Hudi当前支持的是Spark3.2，对应的Spark也是3.2。1
进程和线程ID 大家知道，在Linux下每个进程都有一个ID，叫做进程ID。而线程ID呢？我们平时使用的posix线程库所创建的每个线程的ID是谁生成的呢？是这个库自己生成的，所以它保证在一个进程内的ID保持不重复。而不同的进程间就没有这个保障了。其实，每个进程内的线程库生成的线程，应该算是用户态的线程，只有这些线程映射到操作系统内核所认识的线程，才能被调度。这个时候，映射到操作系统内核能识别的线程的时候，操作系统的对应线程也会有一个线程ID，这个ID在整个操作系统空间是唯一的。通常这个操作系统的内部ID我们都用不到。所以
配置【文件】处理 配置[文件]处理 什么是配置或配置文件 配置文件就是程序的相对固定参数，让程序能够在一定程度上有运行的灵活性。文件只是配置一种形式，例如存在某个外部的地方，能在运行的时候加载的都算配置。所以我们关注的是配置，文件只是一种形式。 配置[文件]格式 文件文本格式常见：传统的properties文件、ini文件。相对较新的json文件、xml文件、Yaml文件、hocon(没用过)、TOML(其他同事用过，据他说是非常适合，网上也有人说可能是最好的配置格式)...
通过minikube部署kubernetes 通过minikube部署kubernetes需要本地验证部署一下knative，需要一个集群，所以先部署一个minikube。记录如下：0.环境准备安装一个VM VirtualBox 6.0.4版本。1.安装Docker自己的机器安装的是Linux Mint 18.3（ubuntu1604）。直接检查一下Docker等的安装情况。$ dock...
跟踪大咖 跟踪大咖这些大咖都是业界的知名人物，经验丰富，且写了很多很好的博客，值得跟踪学习：1. Christian Posta微服务方面的专家，最近在搞Istio。关注他https://blog.christianposta.com/posts/2. Martin Kleppmann3. Martin Fowler关注他https://martin...
并发编程的模型 并发编程的模型并发是多核编程中非常困难的部分，主要原因是多个CPU，但是共享一个内存，所以必须有一套机制保证这些CPU不会冲突。理论上一个应用程序绑定一个CPU，然后从头执行到尾是最高效的方式，然而实际中的应用，总是会相互依赖，或者依赖某个低速的IO操作，这时候这些应用就会等待。等待的时候能高效的将CPU出让给别人是很重要的。为了并发且保护共享的数据结构，很多的方式被...
我的疑问清单 我的疑问这里是我的疑问列表，如果有结论则会链接到具体的结果Blog上，如果没有链接说明我还在思考中。1.操作系统的线程上下文的切换时间是多少？2.如何查看程序运行过程中的切换次数？3.我是如何理解并发编程模型的？4.如何使用客户端操作共有云上的云服务？5....
无密码ssh登录的配置 无密码ssh登录的配置Ssh无密码的原理是：rsa非对称密码中，私有密码加密的信息，只有公钥才能解密，所以，如果公钥能够解密，则一定是私钥加密的。因为私钥没有在网络上传递，所以，就肯定是私钥所在的机器进行的访问。这样，拥有公钥的机器就相信，只要我能解密信息，那对方一定是信任的私钥机器。这样就运行无密码登录了。A访问B无密码，需要在A上生成一对密码，将公钥传给B。操作步骤：1....
迁移Linode服务器 迁移Linode服务器从美国将Linode的一个服务器迁移到日本的机房：1. 首先为了保证数据的完整性，把两台VPS主机都关机2. 到新的VPS主机控制面板那样把Disk Image和Swap Image给删除了，否则在下面的迁移中会提示你硬盘空间不足3. 选择Clone中的Configuration Profile4. 选择...
信息模型驱动的微服务拆分设计思考 信息模型驱动的微服务拆分设计思考微服务倾向于分离的数据库。我们将数据分离的时候一定会有这些疑问：如何将数据拆分开来；遵循什么原则； 拆分的数据如何组合组织起来进行访问；其实拆分数据本事也是微服务划分的一个影响因素。尼古拉斯·沃斯（Niklaus Wirth）曾经说过“算法+数据结构=程序”。狭义一点来说，很多公司的系统中，数据本身就是业务价值的载体，经年积累的业务价值都存储...
Confluo对比Kafka Confluo对比Kafka 最近几天老是看到一篇“伯克利开源 Confluo：吞吐量比 Kafka 高 4 到 10 倍”的文章，到底什么是Confluo，看了一下它的论文和代码，简单分析了一下：初步分析完感觉这个东东为啥要和Kafka比呢？又没有啥可比性，就像Kafka从来不会和Redis比Pub-Sub时延一样。而且这一篇文章感觉比Kafka高大上好多似的，非常容...
javascript时间处理函数 当前时间：var timestamp = Date.parse(new Date());timestamp = timestamp / 1000;返回的是毫秒，后三位为0var timestamp = (new Date()).valueOf();var timestamp=new Date().getTime();返回的是毫秒，精确到毫秒 时间转时间戳v...
阿里云服务器上的Service文件句柄限制修改 有个服务程序，老是报文件无法打开，肯定是文件句柄打开太多了，需要修改一下文件打开句柄限制可以通过命令查看：ulimit -n6553565535看起来还不错，不至于这么少。所以我们看看我们的服务程序进程怎样。查看单独某个已经启动的进程，想查看它的文件打开句柄限制如下，（看起来有点少）：cat /proc/9481/limitsLimit ...
systemd的日志存在哪里？ systemd的日志存在哪里？ 为了手工安装一次kubernetes，其中etcd装了又删，删了又装好几遍。最后一次终于启不来了。单独运行etcd的程序都可以，就是放在systemd的服务目录下不行。systemd的日志看不出来问题：[root@k8slib]# journalctl -u etcd--Logs begin at Fri 2017-09-29 08:47:30 CS
LevelDB源码阅读(2) LevelDB源码阅读(2) C语言用的比较多一些，后面再阅读LevelDB源码的时候，同步做个C语言版本的如何？顺便看看和C++的版本性能比较。说干就干J 还有几个事情在思考：1. C语言版本和C++版本到底性能有没有区别，有多大？2. 复杂的一些数据库模式，例如ER风格的库，能用KV高效的模拟吗？3. 如果添加一个SQL的接口，是不是有
LevelDB源码阅读(1) LevelDB源码阅读(1) 时间就是杀猪刀，不抓紧学习不行呀。2017年新年第一天，我们就来学习一下LevelDB吧。之所以选它，是因为代码还不算多(1.19版本)： ... 51./util/testutil.cc 63./util/testutil.h 15805 total[root@localhost src]#我们先看看目
关注
