weixin_44433834的博客

作者：幻好来源：恒生LIGHT云社区基本概念HDFS (Hadoop Distributed File System) 是 Hadoop 下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。首先，通过名字就能很清楚的明白 HDFS 在 Hadoop 中是应该文件存储的组件。HDFS 的设计之初，主要是考虑到在数据量的不断增长的环境下，由于受制单机资源有限，为了保证系统能够提供高可用、高可靠性以及高扩展等要求，于是通过分布式架构，以达到响应的需求。核心架构HDFS 的.

作者：幻好来源：恒生LIGHT云社区基本概念MapReduce 是一个分布式运算程序的编程框架，通过它能将用户将编写好的程序提交，并发运行在一个 Hadoop 集群上。MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序。MapReduce 是一个编程模型，分为两个阶段：Map 和 Reduce。输入的数据会先分块，然后由 Map 进行处理，最后输出到 Reduce 中。可以将它理解成对数据整理，然后归纳的一个过程。核心算法MapRed.

Python量化数据仓库搭建3：数据落库代码封装本系列教程为量化开发者，提供本地量化金融数据仓库的搭建教程与全套源代码。我们以恒有数(UDATA)金融数据社区为数据源，将金融基础数据落到本地数据库。教程提供全套源代码，包括历史数据下载与增量数据更新，数据更新任务部署与日常监控等操作。在上一节讲述中，我们封装了Python操作MySQL数据库的自定义类，存为MySQLOperation.py文件；本节内容操作数据库部分，将会调用MySQLOperation中的方法，以及pandas.to_sql和pan

Python量化数据仓库搭建系列2：Python操作数据库本系列教程为量化开发者，提供本地量化金融数据仓库的搭建教程与全套源代码。我们以恒有数(UDATA)金融数据社区为数据源，将金融基础数据落到本地数据库。教程提供全套源代码，包括历史数据下载与增量数据更新，数据更新任务部署与日常监控等操作。在上一节讲述中，我们选择了MySQL作为本系列教程的数据库，故本文着重讲解Python操作MySQL的步骤，并封装方法。在文末简单介绍Python操作MongoDB、SQLite、PostgreSQL数据库；一

Python量化数据仓库搭建系列1：数据库安装与操作本系列教程为量化开发者，提供本地量化金融数据仓库的搭建教程与全套源代码。我们以恒有数(UDATA)金融数据社区为数据源，将金融基础数据落到本地数据库。教程提供全套源代码，包括历史数据下载与增量数据更新，数据更新任务部署与日常监控等操作。### 一、数据仓库数据仓库（Data Warehouse）简称DW或DWH，数据仓库顾名思义，是一个很大的数据存储集合。是数据库的一种概念上的升级，输入方是各种各样的数据源，最终的输出用于数据分析、量化分析、数

Oracle高级查询高级查询在数据库的开发过程中应用广泛，从分组查询、多表查询和子查询三个方面介绍Oracle的高级查询。分组查询分组查询是按照一定的规则进行分组，分组以后数据会聚合，需要使用聚合函数，但是使用聚合函数不一定要分组，分组的关键字是group by。常用的聚合函数有：最大值max()，最小值min()，平均值avg()，总和sum()，统计个数count()count函数使用列名时会自动忽略空值nvl函数可以防止count自动忽略空值，它的作用是当comm为空时返回0，因为0是非

grep命令1、作用：Linux系统中grep命令是一种强大的文本搜索工具，它能使用多种选项及正则表达式搜索文本，并把匹配的行打印出来。grep全称是Global Regular Expression Print，表示全局正则表达式打印，它的使用权限是所有用户。2、语法：grep [option...] [patterns] [file...]可以有零个或多个选项参数，以及零个或多个文件参数。patterns参数包含一个或多个由|分隔的模式，当通过“-e patterns”或“-f file”选

Windows 环境下安装Redisredis-windows：https://github.com/ServiceStack/redis-windows/管理工具RDM：https://rdm.dev/1. 解压redis-windows2. 配置redis-windows修改redis.windows.conf在底部添加上这两行，代表最大内存和设置密码。然后在命令行模式下进入解压后的redis目录，键入下面命令redis-server.exe redis.windows.con

今天向大家推荐程序员学习的一些必备站点，帮助我们更高效学习编程技能，快速成长。1. 菜鸟教程（https://www.runoob.com/）菜鸟教程，作为程序员肯定知道的网站。在这个网站中，包含了前端、Java、Python、C++、PHP 等所有主流编程语言的文档教程，完全免费！适合想入门编程行业的小白，也适合工作了的程序员基础知识的提升。2. 慕课网（https://www.imooc.com/）慕课网-这里不仅有各个不同编程方向的、免费的入门和进阶视频教程，还可以在学习过程中记录笔记

目的：这段时间我们组多人开发同一个前端项目，遇到同事提交的代码有大面的格式变更，找到原因是我们vscode安装的代码格式化规范插件和本地配置不同导致的，并且同事设置了保存自动格式化代码，这样的情况容易在合并代码时找不到实际的代码改动点，出现隐患。另一方面也是响应公司代码格式规范化的号召，所以花时间了解了下eslint，跟大家分享。1. eslint介绍lint是检查代码格式工具的一个统称，具体的工具有JsLint、Android-Lint等,本文介绍的eslint就是lint中的一种。eslint官网

引言在通常的Java项目中，充斥着太多不友好的代码：POJO的getter/setter/toString；异常处理；I/O流的关闭操作等等，这些样板代码既没有技术含量，又影响着代码的美观，Lombok应运而生。而 IDEA 2020 版本中，已经内置了Lombok插件，SpringBoot 2.1.x之后的版本也在Starter中内置了Lombok依赖。今天来讲讲Lombok的使用，看看它有何神奇之处！Lombok的安装配置使用 Lombok 之前我们先要在所使用的 IDE 中进行集成安装，这里以

上一篇《用Python绘制专业的K线图》，讲解了数据获取、K线图绘制及成交量绘制等内容。本篇将在上一篇的基础上，继续讲解移动均线的绘制。1、获取数据我们从恒有数金融数据社区，获取股票市场历史行情数据。我们获取2021年3月1号至2021年6月1号，恒生电子（600570.SH）的日行情数据，并做简单处理，代码及执行结果如下。# 加载取数与绘图所需的函数包import pandas as pdimport datetimefrom hs_udata import set_token,stock_.

作者：幻好来源：恒生LIGHT云社区SonarQube 是管理代码质量一个开放平台，可以快速的定位代码中潜在的或者明显的错误。企业一般会搭建平台对项目的代码进行整体的校验，个人开发者也能在本机配置部署平台对相关代码进行分析。本文将会介绍一下这个工具的安装、配置以及使用。1.SonarQube 简介1. sonar是什么Sonar是一个用于代码质量管理的开源平台，用于管理代码的质量，通过插件形式可以支持二十几种语言的代码质量检测，通过多个维度的检查了快速定位代码中潜在的或者明显的错误。.

Allatori 是什么Allatori是第二代java代码混淆工具，为你的产品知识产权提供全方位的保护。通过代码混淆，让代码逆向工程几乎变得不可能。除了代码混淆作用，Allatori还可以最小化应用代码大小，提高应用启动速度。使用案例创建一个mixup的maven工程如下图如上图 在根目录下创建allatori文件夹，放入配置文件allatori.xml，创建lib文件夹，在其下面放入allatori.jar和allatori-annotations.jar。<config>

语法糖（Syntactic Sugar），也称糖衣语法，出自英国计算机学家 Peter.J.Landin 发明的一个术语，指的是在计算机语言中添加的某种语法，这种语法对语言的功能并没有影响，但是更方便程序员使用。本文通过实例代码，学习理解 Java 中的语法糖原理及用法，帮助大家在学会如何使用 Java 语法糖的同时，了解这些语法糖背后的原理。自动装箱与拆箱自动装箱就是Java自动将原始类型值转换成对应的对象，比如将int的变量转换成Integer对象，这个过程叫做装箱，反之将Integer对象.

#光源计划#在分布式服务架构的背景下，为了服务间高效的通信，常常使用 RPC 进行解决，提到 RPC 就不得不学习 Dubbo设计背景随着互联网的发展，网站应用的规模不断扩大，常规的垂直应用架构已无法应对，分布式服务架构以及流动计算架构势在必行，需要一个治理系统确保架构有条不紊的演进。![在这里插入图片描述](https://img-blog.csdnimg.cn/20210719155230851.jpg#pic_center当服务越来越多，容量的评估，小服务资源的浪费等问题逐渐显现，此时需

作者：threedaymanZookeeper是什么Zookeeper是一个提供了配置信息、命名服务、分布式同步、集群管理得集中式服务。为分布式服务提供了一个通用解决方案。Zookeeper安装使用体验拉取zookeeper镜像文件docker pull zookeeper查看镜像文件docker images启动zookeeper镜像docker run --name myZookeeper -d zookeeper:latest查看运行docker镜像docker ps进

作者：悠悠做神仙来源：恒生LIGHT云社区本文是2021最新Python开发学习路线，根据不同方向推荐了一些要学习的内容，同时根据要学习的领域，给出需要关注的技能项和学习资料，会有推荐一些比较好的网络免费课程，以及一些经典权威图书，部分图书附有pdf下载链接，可以直接获取（后续会不断补全），避免找资源的时间。希望能给大家的Python语言学习，能有所帮助！PS：恒生云社区，【极客时间】会有一些优秀的课程视频供大家学习，比如：Python金融数据分析课程。参考学习脑图：前言脑图部分仅仅是针