从菜鸟到菜菜鸟

转载 基本财务知识

1 成本费用率：什么是成本费用率　　成本费用率为成本费用总额与主营业务收入的比率，公式表示为： 成本费用率＝ 本期营业费用+本期管理费用+本期财务费用 X 100% 本期主营业务收入 成本费用率的使用[1]　　利用成本费用率作为企业费用量化分析指标时，应注意以下三点。　　(1)当企业能获得其他业务支出的数据时，成本费用总额还...

原创 产品定价方法

定价策略 描述 优点 缺点 案例 适用场景 渗透定价 以低价进入市场，在价格和单量之间，尽量做到量的极致。它是以一个较低的产品价格打入市场，目的是在短期内加速市场成长，牺牲高毛利以期获得较高的销售量及市场占有率，进而产生显著的成本经济效益。 一方面难以树立优质产品的形象，另一方面影响资本的回报率 首先，产品能迅速占领市场，并借助大批量销售来降低成...

转载 【转载】开源Mediawiki

MediaWiki 是 Wikipedia 使用的网站解决方案的开源版，以个人观点来看，Wiki 在这个时代显得不够时尚，且不支持 MarkDown 等新兴的标记语言，另外页面的组织方式采用了自己的一套管理语言，上手需要一定的学习成本。不过经典总归是经典。MediaWiki 也提供了官方的 Docker image，这就节省了不少安装环境的工作量，接下来就来看看私有 MediaWiki 站点是...

原创 BIM技术

什么是BIM：BIM全称是“建筑信息模型（Building Information Modeling）”，这项技术被称之为“革命性”的技术，源于美国乔治亚技术学院（Georgia Tech College）建筑与计算机专业的查克伊士曼（Chuck Eastman，Ph.D.）博士提出的一个概念：建筑信息模型包含了不同专业的所有信息、功能要求和性能，把一个工程项目的所有信息包括在设计过程、施工过...

转载 CDC 同步技术

Change Data Capture。CDC：Change Data Capture（改变数据捕获）是Oracle在数据库级别实现的增量抽取解决方案之一。CDC能够帮助你识别从上次提取之后发生变化的数据。利用CDC，在对源表进行INSERT、UPDATE或 DELETE等操作的同时就可以提取数据，并且变化的数据被保存在数据库的变化表中。这样就可以捕获发生变化的数据，然后利用数据库...

转载 网页布局

1 常见网页宽度：950px、960px、1000px、1190px、1200px 2栅格化栅格化并不是一个新的概念，大家关注的点往往是他表面的950、960和1190。左边的三个数据的核心是一个24等分的栅格系统。可以被轻松的2等分、3等分、4等分、6等分、8等分、12等分，还可以做到1:2、1:3、1:5、2:4、1:7、3:5的不对称分割，并且可以精确到像素。由于3:5和3等...

原创 ES 学习笔记

1 基本概念：cluster – An Elasticsearch cluster consists of one or more nodes and is identifiable by its cluster name.node – A single Elasticsearch instance. In most environments, each node runs on a se...

转载 Apache solr 和 ES比较

http://solr-vs-elasticsearch.com/Apache Solr vs ElasticsearchThe Feature SmackdownAPIFeature Solr 6.2.1 ElasticSearch 5.0 Format XML, CSV, JSON JSON HTTP REST API Bin...

转载 Lucene 和solr的区别

solr和lucene的区别：A simple way to conceptualize the relationship between Solr and Lucene is that of a car and its engine. You can't drive an engine, but you can drive a car. Similarly, Lucene is a prog...

转载 全文检索

本文我将为大家讲解全文检索技术——Lucene，现在这个技术用到的比较多，我觉得大家还是应该掌握一下，不说多精通，但是应该有所了解。在讲解之前，我们先来看一个案例，通过该案例引出全文检索技术——Lucene。案例实现一个文件的搜索功能，通过关键字搜索文件，凡是文件名或文件内容包括关键字的文件都需要找出来。还可以根据中文词语进行查询，并且需要支持多个条件查询。本案例中的原始内容就是磁盘上的文...

原创 大数据实时处理技术框架-spark和storm对比

对比点 Storm Spark Streaming 实时计算模型 纯实时，来一条数据，处理一条数据 准实时，对一个时间段内的数据收集起来，作为一个RDD，再处理 实时计算延迟度 毫秒级 秒级 吞吐量...

原创 kafka基本概念

Kafka[1] 是一种高吞吐量[2] 的分布式发布订阅消息系统，有如下特性：通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量[2] ：即使是非常普通的硬件Kafka也可以支持每秒数百万[2] 的消息。支持通过Kafka服务器和消费机集群来分区消息。支持Hadoop并行数据加载。[3] kafka基本概念：BrokerKafka集群...

转载 docker 和vagrant比较

vagrant：Vagrant是一个基于Ruby的工具，用于创建和部署虚拟化开发环境。它 使用Oracle的开源VirtualBox虚拟化系统，使用 Chef创建自动化虚拟环境docker：Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化，容器是完全使用沙箱机制，相互之间不会有任何接口。一个完整...

转载 大数据集群搭建文章

收集一下大数据集群环境搭建文章：https://wenku.baidu.com/view/0a9c4ebc50e79b89680203d8ce2f0066f433645e.htmlhttps://blog.csdn.net/youzhouliu/article/details/66973596?locationNum=15&fps=1https://segmentfault.com/a/1...

转载 CDH 和ambari之间的比较

1 什么是CDH，ambari？Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookepe...

转载 Hive Hbase之间的区别和应用场景

作者：有点文链接：https://www.zhihu.com/question/21677041/answer/185664626来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。Hbase和Hive在大数据架构中处在不同位置，Hbase主要解决实时数据查询问题，Hive主要解决数据处理和计算问题，一般是配合使用。一、区别：Hbase： Hadoop database ...

转载 腾讯hermes平台

Why：Hermes为什么会诞生？传统的关系型数据库，在大数据面前显得势单力薄，无论数据处理、数据分析上都力不从心。TDW（腾讯数据仓库，Tencent Data Warehouse）很好的解决了海量数据的离线处理分析。然而，很多应用场景往往要求在数秒内完成对几亿、几十亿甚至几百上千亿的数据分检索与分析，如营销人员需要对亿级需要对用户画像特征快速分析，确定营销目标群，实现快速精准营销分析，从而抢占...

转载 RAID如何选择

一．RAID定义 RAID(Redundant Array of Independent Disk 独立冗余磁盘阵列)技术是加州大学伯克利分校1987年提出，最初是为了组合小的廉价磁盘来代替大的昂贵磁盘，同时希望磁盘失效时不会使对数据的访问受损 失而开发出一定水平的数据保护技术。RAID就是一种由多块廉价磁盘构成的冗余阵列，在操作系统下是作为一个独立的大型存储设备出现。RAID可以充分发 挥出多块...

转载 PKI和CA 介绍

        公钥基础设施（Public Key Infrastructure，简称PKI）是目前网络安全建设的基础与核心，是电子商务安全实施的基本保障，因 此，对PKI技术的研究和开发成为目前信息安全领域的热点。本文对PKI技术进行了全面的分析和总结，其中包括PKI组成、证书认证机构CA、PKI应 用、应用编程接口和PKI标准等，并对CA的开发做了简要分析。本文对PKI，特别是CA的开发、应用...

转载 光闸

定义编辑用于对安全性要求极高的网络的数据交换场景，如涉密网络与非涉密网络之间，行业内网与公共网络之间。产生编辑自2000年，我国产生了安全隔离网闸（GAP）（简称“网闸”）技术，它解决了电子政务兴起带来的政务内网和外网之间安全隔离、适度可控的数据交换的需求，网闸技术是基于双向的，即通过配置，是允许高安全网络和低安全网络之间双向数据交换的。但在一些安全级别极高的网络，如涉密网络中，按照信息保密的技术...

转载 Phoenix 简单介绍

1. Phoenix定义Phoenix最早是saleforce的一个开源项目，后来成为Apache基金的顶级项目。Phoenix是构建在HBase上的一个SQL层，能让我们用标准的JDBC APIs而不是HBase客户端APIs来创建表，插入数据和对HBase数据进行查询。put the SQL back in NoSQLPhoenix完全使用Java编写，作为HBase内嵌的JDBC驱动。Pho...

转载 工作流引擎

1.什么是Activiti在解释activiti之前我们看一下什么是工作流。工作流(Workflow)，就是“业务过程的部分或整体在计算机应用环境下的自动化”，它主要解决的是“使在多个参与者之间按照某种预定义的规则传递文档、信息或任务的过程自动进行，从而实现某个预期的业务目标，或者促使此目标的实现”。我的理解是，工作流将一套大的业务逻辑分解成业务逻辑段， 并统一控制这些业务逻辑段的执行条件，执行顺...

转载 zuul

Router and Filter: Zuul路由是微服务架构的不可或缺的一部分。例如：”/” 可能映射到你应用主页，/api/users映射到用户服务，/api/shop映射到购物服务。Zuul。Zuul是Netflix出品的一个基于JVM路由和服务端的负载均衡器。Netflix uses Zuul for the following: * Authentication * Insights *...

转载 使用 Eureka 实现服务注册与发现

Eureka 是 Netflix 出品的用于实现服务注册和发现的工具。 Spring Cloud 集成了 Eureka，并提供了开箱即用的支持。其中， Eureka 又可细分为 Eureka Server 和 Eureka Client。本例子将演示如何通过 Spring Cloud Eureka 来快速实现服务的注册和发现。开发环境Gradle 4.0Spring Boot 2.0.0.M3Sp...

转载 Hermes：来自腾讯的实时检索分析平台

实时检索分析平台(Hermes)是腾讯数据平台部为大数据分析业务提供一套实时的、多维的、交互式的查询、统计、分析系统，为各个产品在大数据的统计分析方面提供完整的解决方案，让万级维度、千亿级数据下的秒级统计分析变为现实。Hermes实时检索分析场景1、营销分析作为营销人员，首先需要确认营销目标群体，并且在什么时间以什么形式，开展什么营销活动效果最好？首先需要找

转载 Oozie 快速入门

设想一下，当你的系统引入了spark或者hadoop以后，基于Spark和Hadoop已经做了一些任务，比如一连串的Map Reduce任务，但是他们之间彼此右前后依赖的顺序，因此你必须要等一个任务执行成功后，再手动执行第二个任务。是不是很烦！ 这个时候Oozie（驯象人，典故来自评论一楼）就派上用场了，它可以把多个任务组成一个工作流，自动完成任务的调用。简介Oozie是一个基

原创 Canvas简介

什么是 canvas?HTML5 元素用于图形的绘制，通过脚本 (通常是JavaScript)来完成. 标签只是图形容器，您必须使用脚本来绘制图形。你可以通过多种方法使用 canvas 绘制路径,盒、圆、字符以及添加图像。浏览器支持表格中的数字表示支持 元素的第一个浏览器版本号。元素    

原创 OCR学习笔记

1 什么是OCR？OCR （Optical Character Recognition，光学字符识别）是指电子设备（例如扫描仪或数码相机）检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程；即，针对印刷体字符，采用光学的方式将纸质文档中的文字转换成为黑白点阵的图像文件，并通过识别软件将图像中的文字转换成文本格式，供文字处理软件进一步编辑加工的技术

原创 web GUI 自动化测试调研

学习资料：https://github.com/lmz2932/learnseleniumhttp://www.51testing.com/zhuanti/selenium.htmlhttp://www.cnblogs.com/melodylin/p/5656185.html代码结构：框架代码结构：pyAutoform---__init_

原创 Hbase 过滤器

转载 Network Time Protocol

Network Time Protocol (NTP) 也是RHCE新增的考试要求. 学习的时候也顺便复习了一下如何设置Linux的时间,现在拿出来和大家分享设置NTP服务器不难但是NTP本身是一个很复杂的协议. 这里只是简要地介绍一下实践方法和上次一样,下面的实验都在RHEL5上运行 1. 时间和时区如果有人问你说现在几点? 你看了看表回答他说晚上8点了. 这样回答看上去没有

转载 Avro,Thrift,Gb 三种协议

thrift ：是由 Facebook 主导开发的一个跨平台、支持多语言的，通过定义 IDL 文件，自动生成 RPC 客户端与服务端通信代码的工具，以构建在 C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk, and OCaml 这些编程语言间无缝结合的、高效

转载 Spark Streaming 学习笔记

Spark Streaming 用来干什么：许多应用需要即时处理收到的数据，例如用来实时追踪页面访问统计的应用、训练机器学习模型的应用，还有自动检测异常的应用。Spark Streaming 是Spark 为这些应用而设计的模型。它允许用户使用一套和批处理非常接近的API 来编写流式计算应用，这样就可以大量重用批处理应用的技术甚至代码。Spark Streaming是Spark核心

原创 查找论文的有用链接

中国科学院国家图书馆：http://www.las.ac.cn/search.do?action=search知网：http://kns.cnki.net/kns/brief/default_result.aspx

转载 Spark 数据读取与保存

文件格式与文件系统对于存储在本地文件系统或分布式文件系统（比如NFS、HDFS、Amazon S3 等）中的数据，Spark 可以访问很多种不同的文件格式，包括文本文件、JSON、SequenceFile，以及protocol buffer。我们会展示几种常见格式的用法，以及Spark 针对不同文件系统的配置和压缩选项。Spark SQL中的结构化数据源：介绍Spark SQL

原创 Spark RDD 读书笔记

RDD 简介Spark 中的RDD 就是一个不可变的分布式对象集合。每个RDD 都被分为多个分区，这些分区运行在集群中的不同节点上。RDD 可以包含Python、Java、Scala 中任意类型的对象，甚至可以包含用户自定义的对象。用户可以使用两种方法创建RDD：读取一个外部数据集，或在驱动器程序里分发驱动器程序中的对象集合（比如list 和set）。创建出来后，RDD 支

原创 Hadoop 学习链接

https://amplab.cs.berkeley.edu/software/

转载 Spark 内存管理详解

Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于 Spark 2.1 版本，阅读本文需要读者有一定的 Spark 和 Java 基础，了解 RDD、Shuff

转载 RDD 存储方式

RDD 存储类型 　　　　RDD可以设置不同类型存储方式，只存硬盘、只存内存等。　　　　Spark的持久化级别持久化级别含义解释MEMORY_ONLY使用未序列化的Java对象格式，将数据保存在内存中。如果内存不够存放所有的数据，则数据可能就不会进行持久化。那么下次对这个RDD执行算子操作时，那些没有被持久化的数据，需要从源头处重

转载 Spark运行模式

Spark运行模式简介　　Spark运行模式列表（一定要熟悉！）早就想写这章了，一直懒得动笔，不过还好，总算静下心来完成了。刚接触Spark时，很希望能对它的运行方式有个直观的了解，而Spark同时支持多种运行模式，官网和书籍中对他们的区别所说不详，尤其是模式之间是否有关联、启动的JVM进程是否有区别、启动的JVM进程的作用是否都一样，等等这些都没有