漫游学海之旅

Window系统下有些任务占用CPU很高，打开任务管理器没法结束这类任务，提示“拒绝访问”下载这个工具，安装后，选择需要结束的任务进程，立马搞定。尝试各种办法都不见效。

如果需要其他问题可以参加下面引用博客排查问题，主要是ssh涉及到的文件权限需要符合要求。由于使用私钥进行访问，需要在目标服务器上新建authorized_keys。rancher 集群之间需要配置ssh访问，经常会出现无法访问，为服务器B上用户user的 ssh 私钥, 使用。需要用户输入 user 的密码，才能访问。目标服务器 A 172.20.3.1。目标服务器 B 172.20.3.2。A 需要通过 ssh 访问 B服务器。生成 id_rsa文件，可以查看具体日志，便于调试。...

Importerror: libgl.so.1: cannot open shared object file: no such file or directory

问题CDH集群配置Kerberos后，执行hdfs dfs -ls /出现错误原因分析客户端没有授权tickets Client cannot authenticate via:[TOKEN, KERBEROS]解决办法查找本地keytab文件，keytab文件，一般CDH已经新建了很多keytab文件find / -name *hdfs.keytab -exec ls -l {} \;根据查找的文件 选择一个正常的keytab文件，文件大小不能为0，否则会出错“Unsupp

原因官网下载的hadoop的bin目录下没有winutils.exe文件下载地址https://github.com/steveloughran/winutils添加至本地hadoop bin中

校验和（Checksum）是网络协议使用的数据错误检测方法，并且被认为比LRC（纵向冗余校验，Longitudinal Redundancy Check，LRC），VRC和CRC（循环冗余校验（Cyclic Redundancy Codes，CRC））更可靠。此方法在发送方使用校验和生成器，在接收方使用校验和校验器。在发送方，数据由校验和生成器分为n位长度的相等子单元。该位通常为16位长度。然后使用一个称赞方法将这些子单元加在一起。该和为n位。然后对得到的位进行补充。这个称为校验和的补充和被附加到原始数

全球数据量仍在飞速增长的阶段，根据国际权威机构Statista的统计和预测，2020年全球数据生产量预计达到 47ZB， 2035年达到 2142ZB，全球数据量即将迎来更大规模的爆发。随着数字经济在全球加速推进以及5G、人工智能、物联网等相关技术的快速发展，数据已成为影响全球竞争的关键性战略性资源。只有获取和掌握更多的数据资源，才能在新一轮的全球话语权竞争中占主导地位。进入2020年，数据正式成为生产要素，战略性地位进一步提升。4月9日，中共中央、国务院发布《关于...

深入理解分布式事务一、引言分布式事务是指在网络中一个或多个主机上的数据库事务的调用[1]^{[1]}[1]，即一个分布式事务包括一个或多个，独立或一组操作，用于更新两个或更多不同分布式数据库节点上的数据[2]^{[2]}[2]。分布式事务相对单节点数据库事务而言，在分布式数据库中，确保数据的执行与单节点数据库事务执行的效果一致，满足ACID (atomicity, consistency,...

米奇 W蒙托罗恩《告别失控：软件开发团队管理必读》是一本非常有参考意义的团队管理书籍，其中很多观念与经验非常值得学习。本书站在技术经理的角度，从多个方面讲解如何理解软件工程与程序员，如何管理好上司、下属团队以及如何激励团队，如何形成良好的团队文化，如何管理成功的软件交付等一系列经验和方法。同时，书中还谈到了招聘、选择技术人员的重要性与方法。为何程序员难管第一部分，描述了软件开发工作的特性...

具体参见： https://www.javaworld.com/article/2071275/when-runtime-exec---won-t.html?page=2原因分析The JDK’s Javadoc documentation provides the answer to this question:Because some native platforms only prov...

9 管理和运维微服务与单块应用的运行方式有几方面不一样。在微服务中，但应用可以变成一个分布式系统，由多个相关关联的微服务组成。因此，我们必须管理高度分离的系统，以及每个服务之间的通信。运行中的服务比单块应用中的服务运行更高。当加载的特征变化后，一个微服务应用应该快速调整多个运行的服务进行响应。因此，我们必须自动化的部署新的、移除就的服务实例，来确保所有的应用运行合适的状态。在每个生产系统中，...

8 从开发环境到生产环境本节讨论如何构建微服务、部署微服务。通过这节内容，促进开发环境到生产环境的平滑移动：一个微服务必须独立部署一个新版本的微服务应该在一分钟内部署完毕，而不是一个小时一个微服务应该具有容错能力，能够避免雪崩式的失败一个微服务可以不改变代码就部署到不同目标环境微服务架构需要很好的自动部署工具，帮助管理部署、测试和提升服务跨目标环境。本章主要包括以下几个主题：...

Cesium Ion 上传发布过程Cesium Ion是Cesium的一个模型发布平台，提供上传模型、影像、地形的数据，并以服务的方式提供前端Cesium加载，同时，可以对访问进行权限控制。Cesium Ion 3DTile发布的具体过程如下第一步先调用 POST https://api.cesium.com/v1/assets 创建一个 asset对象request body{ ...

7 测试微服务应用在建造的时候应该考虑到测试。好的测试能够让代码更加友好，正向影响持续提交流程。根据应用组件的生命周期，可以分为以下几类测试：单服务测试由分离的团队实行测试临时环境在临时环境执行测试，微服务组成一个特别的应用部署到一个临时环境中，用于测试。生产环境运行在生产环境的测试测试应该作为构建（build）、发行版（release）、运行（run）流程中自动执行的部分。...

6 应用安全安全作为应用重要部分，必须要考虑。本章讨论在云原生的微服务架构下的安全要求。6.1 微服务架构安全微服务架构动态的本质，改变了安全的方式。安全与如何定义应用或服务边界相关。如下图所示，表示单块应用和微服务应用的请求流程图。单块应用和微服务应用两者最大的区别，单块应用的组成是固定的，而微服务的组成经常发生变化。微服务独立更新。安全边界永远不够。如何以一种有机的方式保护这种快速变...

5 数据处理5.1 微服务中数据特征定义微服务中的存储数据有一种方法，即从上到下方法。有业务级开始设计数据模型。如何定义数据、如何处理数据、如何与其他微服务的数据存储进行共享。领域驱动设计实体根据领域驱动设计，我们将会有以下几类对象：实体 Entity一个不是由它的属性进行定义的对象，而是根据线程定义的。Value Object一个对象包含属性，但是没有概念的定义，可以被认为是不...

4 微服务间通信在分布式系统中，服务内部的通信很重要的。组成应用的微服务需要一起无缝的工作，向客户端提供服务。不同服务之间的通信有两种形式，同步和异步调用。4.1 同步和异步同步通信，即请求后立马获得响应。异步通信，是一种消息，不需要响应。高度分布式系统中使用异步事件或消息就是强有力的应用场景。对于任何一种调用风格，开放的API需要提供文档说明。事件或消息负载也需要提供文档说明。事件订阅...

服务注册与发现微服务被设计成能够容易水平扩展，需要一种方法来解决多个服务实例如何定位，并且对多个服务的调用如何负载均衡。服务定位包括以下三个部分内容：1.服务注册2.服务调用3.API网关服务注册服务注册是一个持久化的存储，用于记录当前可用的微服务列表，以及访问他们的路由信息。微服务之间通信需要注册服务，主要因为以下几个原因：1.注册当一个服务成功的部署后，微服务需要通过服务注册进...