自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Wenjie CSDN BLOG

Record My way!

  • 博客(0)
  • 资源 (38)
  • 收藏
  • 关注

空空如也

一个使用C#实现的内网穿透工具,可实现内网服务挂载在公网

一个使用C#实现的内网穿透工具,可实现内网服务挂载在公网

2024-09-04

一个C#版本的TFTP实现,包括服务端和客户端

一个C#版本的TFTP实现,包括服务端和客户端

2024-09-04

小程序互联网发展白皮书2019-2020-阿拉丁研究院-2020.1-157页.pdf

一、小程序互联网全景回顾 二、小程序平台变化分析 三、小程序行业与代表企业案例分析 四、小程序第三方服务省厅分析 五、小程序用户行为洞察 六、2019年123月Top200榜单与年度Top100榜单分析 七、2020年小程序互联网发展趋势预测

2020-09-05

完整版-2019年应届生专项调研.pdf

完整版-2019年应届生专项调研 2019年度应届生专项调研报告详情 一. 应届生招聘概况 二. 应届生起薪情况 三. 应届生管理政策 四. 应届生晋升政策 五. 管培生&实习生管理 六. 参调企业详情

2020-09-05

京东大数据技术白皮书-京东大数据平台部出品

目 录 序言 ..................................................................................................................... 3 前言 ..................................................................................................................... 5 1 京东大数据的发展历程................................................................................. 8 2 京东大数据的技术体系................................................................................10 2.1 数据采集和预处理..............................................................................10 2.2 流量数据采集 .....................................................................................13 2.3 数据存储体系 .....................................................................................22 2.4 离线计算环境 .....................................................................................34 2.5 实时计算环境 .....................................................................................37 2.6 机器学习环境 .....................................................................................40 2.7 任务管理和调度..................................................................................43 2.8 资源监控和运维..................................................................................49 3 京东大数据的数据管理................................................................................54 3.1 数据架构设计 .....................................................................................55 3.2 数据资产管理 .....................................................................................57 3.3 统一指标体系 .....................................................................................65 3.4 数据安全管理 .....................................................................................66 3.5 数据服务管理 .....................................................................................68 4 京东大数据的数据产品................................................................................75 4.1 京东商智.............................................................................................75 4.2 智能营销.............................................................................................76 京东大数据技术白皮书 ~ 2 ~ 4.3 数据管家.............................................................................................77 4.4 祖冲之 ................................................................................................78 5 京东大数据的应用场景................................................................................80 5.1 营销领域.............................................................................................80 5.2 物流领域.............................................................................................81 5.3 供应链领域.........................................................................................82 5.4 智能零售.............................................................................................85 5.5 金融业务创新 .....................................................................................86 5.6 时尚创新.............................................................................................88 5.7 人工智能.............................................................................................89 6 京东大数据的合作生态................................................................................93 7 京东大数据的特点........................................................................................95 7.1 高可用和高性能..................................................................................95 7.2 一站式服务平台..................................................................................98 7.3 可靠的安全保障..................................................................................99 8 京东大数据展望 .........................................................................................103 8.1 融合统一...........................................................................................103 8.2 开放合作...........................................................................................109 8.3 技术前瞻...........................................................................................110 结语 ..................................................................................................................117 参考文献...........................................................................................................118

2018-12-14

2018中国工业互联网产业前景研究报告-中商产业研究院

数据显示,2017年中国工业互联网市场规模达到4676.99亿元, 增长率为13.5%;随着产业政策逐渐落点,市场空间将有望加速, 预计2020年中国工业互联网市场规模可达6929.12亿元

2018-12-14

2018 通信 与人工智能研究报告-Aminer研究报告第六期

目录 1 概述篇 ..........................................................................................................................................2 1.1 通信技术的起源............................................................................................................ 2 1.2 现代通信技术的发展.................................................................................................... 3 1.3 通信发展挑战与 AI...................................................................................................... 7 1.4 中国通信行业现状........................................................................................................ 9 2 人才篇 ........................................................................................................................................12 2.1 通信研究学者分布及迁徙.......................................................................................... 12 2.2 通信代表研究学者...................................................................................................... 15 2.2.1 领军人物 .............................................................................................................. 15 2.2.2 中坚力量 .............................................................................................................. 20 2.2.3 领域新星 .............................................................................................................. 26 3 应用篇 ........................................................................................................................................28 3.1 中国电信在人工智能领域的探索.............................................................................. 28 3.2 AI+通信的热点挖掘.................................................................................................... 29 3.2.1 通信与可视化(communication & visualization)............................................ 31 3.2.2 通信与数据挖掘(communication & data mining).......................................... 34 4 趋势篇 ........................................................................................................................................38

2018-12-14

《2018前沿科技趋势》-阿里云研究中心 崔昊 2018.05

美国陆军部《2016-2045新兴科技趋 通过对近 700 项科技趋势的综合比对分析,最终明确了 24项最 值得关注的科技发展趋势。 该报告的发 布一是为了帮助美国相关部门对未来 30 年可能影响 国家力量的核心科技有一个总体上的把握,其二是 为国家及社会资本 指明科技投资方向,以确保美国在未来世界中的战略优势 机器人与自动化系统 3D打印 分析 移动和云计算 人体增强 先进医疗 数字空间 新能源 智慧城市 物联网 食物和水科技 量子计算 社交主权 先进数字设备 混合现实 气候改善技术 先进材料 新型武器 太空探索 生物合成技术 自然界改造 隐私技术 先进教育

2018-12-14

十五个经典算法研究与总结、目录+索引(定稿版)

前言: 本人的原创作品经典算法研究系列,自从10年12月末至11年12月,写了近一年。可以这么说,开博头俩个月一直在整理微软等公司的面试题,而后的四个月至今,则断断续续,除了继续微软面试100题系列,和程序员编程艺术系列之外,便在写这经典算法研究系列和相关算法文章。 本经典算法研究系列,涵盖A*.Dijkstra.DP.BFS/DFS.红黑树.KMP.遗传.启发式搜索.图像特征提取SIFT.傅立叶变换.Hash.快速排序.SPFA.快递选择SELECT等15个经典基础算法,共计31篇文章,包括算法理论的研究与阐述,及其编程的具体实现。很多个算法都后续写了续集,如第二个算法:Dijkstra 算法,便写了4篇文章;sift算法包括其编译及实现,写了5篇文章;而红黑树系列,则更是最后写了6篇文章,成为了国内最为经典的红黑树教程。 OK,任何人有任何问题,欢迎随时在blog上留言评论,或来信:zhoulei0907@yahoo.cn批评指正。谢谢。以下是已经写了的15个经典算法集锦,算是一个目录+索引,共计31篇文章: 十五个经典算法研究集锦+目录 一、A*搜索算法 一(续)、A*,Dijkstra,BFS算法性能比较及A*算法的应用 二、Dijkstra 算法初探 二(续)、彻底理解Dijkstra算法 二(再续)、Dijkstra 算法+fibonacci堆的逐步c实现 二(三续)、Dijkstra 算法+Heap堆的完整c实现源码 三、动态规划算法 四、BFS和DFS优先搜索算法 五、教你透彻了解红黑树 (红黑数系列六篇文章之其中两篇) 五(续)、红黑树算法的实现与剖析 六、教你初步了解KMP算法、updated (KMP算法系列三篇文章) 六(续)、从KMP算法一步一步谈到BM算法 六(三续)、KMP算法之总结篇(必懂KMP) 七、遗传算法 透析GA本质 八、再谈启发式搜索算法 九、图像特征提取与匹配之SIFT算法 (SIFT算法系列五篇文章) 九(续)、sift算法的编译与实现 九(再续)、教你一步一步用c语言实现sift算法、上 九(再续)、教你一步一步用c语言实现sift算法、下 九(三续):SIFT算法的应用--目标识别之Bag-of-words模型 十、从头到尾彻底理解傅里叶变换算法、上 十、从头到尾彻底理解傅里叶变换算法、下 十一、从头到尾彻底解析Hash表算法 十一(续)、倒排索引关键词Hash不重复编码实践 十二、快速排序算法 (快速排序算法3篇文章) 十二(续)、快速排序算法的深入分析 十二(再续):快速排序算法之所有版本的c/c++实现 十三、通过浙大上机复试试题学SPFA 算法 十四、快速选择SELECT算法的深入分析与实现 十五、多项式乘法与快速傅里叶变换

2018-12-14

腾讯支付基于.Net Core重新构建基础框架以实现更灵活可拓展

腾讯支付基于.Net Core重新构建基础框架以实现更灵活可拓展 传统.NET确实不适合互联网,就看新一代.NET Core on Linux/docker的表演了, 腾讯支付应用微软.Net Core重新构建基础框架以实现更灵活可拓展

2018-12-14

互联网时代的软件革命-SaaS架构设计(完美版)

《互联网时代的软件革命SaaS架构设计》是2009年电子工业出版社出版的图书,作者是叶伟。本书是国内第一本完整介绍saas应用开发的书籍,聚集于架构设计。

2018-12-14

ASP.NET Core应用程序部署至生产环境中(CentOS7)

Centos7发布说明 环境说明: 服务器系统:CentOS 7.2.1511 相关工具:Xshel、Xftp 服务器软件软件:.netcore、nginx、supervisor 准备好发布的程序 安装.NET Core SDK for CentOS7 打开网址:https://www.microsoft.com/net/core#linuxcentos 复制如下命令,单步执行: sudo yum install libunwind libicu curl -sSL -o dotnet.tar.gz https://go.microsoft.com/fwlink/?LinkID=835019 sudo mkdir -p /opt/dotnet && sudo tar zxf dotnet.tar.gz -C /opt/dotnet sudo ln -s /opt/dotnet/dotnet /usr/local/bin 输入 dotnet –info 来查看是否安装成功 配置Nginx 下载安装Nginx,单步执行如下命令: curl -o nginx.rpm http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm rpm -ivh nginx.rpm yum install nginx systemctl start nginx 来启动nginx systemctl enable nginx 来设置nginx的开机启动(linux宕机、重启会自动运行nginx不需要连上去输入命令)。 配置防火墙 命令:firewall-cmd --zone=public --add-port=80/tcp --permanent(开放80端口) 命令:systemctl restart firewalld(重启防火墙以使配置即时生效) 测试nginx是否可以访问。 配置nginx对ASP.NET Core应用的转发 修改 /etc/nginx/conf.d/default.conf 文件,将文件内容替换为: server { listen 80; location / { proxy_pass http://localhost:5000; proxy_http_version 1.1; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection keep-alive; proxy_set_header Host $host; proxy_cache_bypass $http_upgrade; } }

2018-12-14

6-微软基于Git的大型项目DevOps 实践.pptx

看看微软是如何管理自己的代码的? DevOps(Development和Operations的组合词)是一组过程、方法与系统的统称,用于促进开发(应用程序/软件工程)、技术运营和质量保障(QA)部门之间的沟通、协作与整合。 它是一种重视“软件开发人员(Dev)”和“IT运维技术人员(Ops)”之间沟通合作的文化、运动或惯例。透过自动化“软件交付”和“架构变更”的流程,来使得构建、测试、发布软件能够更加地快捷、频繁和可靠。 它的出现是由于软件行业日益清晰地认识到:为了按时交付软件产品和服务,开发和运营工作必须紧密合作。

2018-12-14

03开源NewSql数据库TiDB-Deep Dive into TiDB

去年十月,TiDB 1.0 版本发布,在接下来的六个月中,开发团队一方面在维护 1.0 版本的稳定性并且增加必要的新特性,另一方面马不停蹄的开发 2.0 版本。经过 6 个 RC 版本,TiDB 2.0 GA 版本于 4 月 27 日正式发布。 2.0 版本规划 根据现有用户的情况、技术发展趋势以及社区的声音,TiDB 2.0 版本主要聚焦在以下几点: 保证 TiDB 的稳定性以及正确性。这两点是一个数据库软件的基础功能,作为业务的基石,任何一点抖动或者错误都可能对业务造成巨大的影响。目前已经有大量的用户在线上使用 TiDB,这些用户的数据量在不断增加、业务也在不断演进。 提升 TiDB 在大数据量下的查询性能。TiDB 目前很多客户都有少则上百 GB,多则上百 TB 的数据,一方面数据会持续增加,另一方面也希望能对这些数据做实时的查询。所以如果能提升大数据量下的查询性能,对用户会很有帮助。 优化 TiDB 的易用性和可维护性。TiDB 整套系统的复杂性比较高,运维及使用的难度要大于单机数据库,所以希望能提供尽可能方便的方案帮助用户使用 TiDB。比如尽可能简化部署、升级、扩容方式,尽可能容易的定位系统中出现的异常状态。 围绕上面三点原则,TiDB 做了大量的改进,一些是对外可见,如 OLAP 性能的显著提升、监控项的大量增加以及运维工具的各项优化,还有更多的改进是隐藏在数据库背后,默默的提升整个数据库的稳定性以及正确性。 正确性和稳定性 在 1.0 版本发布之后,TiDB 开始构建和完善自动化测试平台 Schrodinger,彻底告别了之前靠手工部署集群测试的方式。同时也新增了非常多的测试用例,做到测试从最底层 RocksDB,到 Raft,再到 Transaction,然后是 SQL 都能覆盖。 在 Chaos 测试上面,TiDB 引入了更多的错误注入工具,例如使用 systemtap 对 I/O 进行 delay 等,也在代码特定的业务的逻辑进行错误注入测试,充分保证 TiDB 在异常条件下面也能稳定运行。 TiDB 的开发团队之前做了很多 TLA+ 的论证工作,也有一些简单的测试,1.0 之后开始使用 TLA+ 系统进行论证,保证所做的实现在设计上面都是正确的。 在存储引擎方面,为了提升大规模集群的稳定性和性能,TiDB 优化了 Raft 的流程,引入 Region Merge、Raft Learner 等新特性;优化热点调度机制,统计更多的信息,并根据这些信息做更合理的调度;优化 RocksDB 的性能,使用 DeleteFilesInRanges 等特性,提升空间回收效率,降低磁盘负载,以及更加平滑地使用磁盘资源等等。 OLAP 性能优化 TiDB 2.0 版本重构了 SQL 优化器和执行引擎,希望能尽可能快的选择最优查询计划并且尽可能高效地执行查询计划。 1.0 版本已经从基于规则的查询优化器转向基于代价的查询优化器,但是还不够完善,在 2.0 版本中,一方面优化统计信息的精确度以及更新及时程度,另一方面提升 SQL 优化器的能力,对查询代价的估算更加精准、对复杂过滤条件的分析更加细致、对关联子查询的处理更加优雅、对物理算子的选择更加灵活准确。 在这一版本中,SQL 执行引擎引入新的内部数据表示方式 --- `Chunk`,一个结构中保存一批数据而不仅是一行数据,同一列的数据在内存中连续存放,使得内存使用更紧凑,这样带来了几点好处:1. 显著减小了内存消耗; 2. 批量分配内存,减小了 GC 开销;3. 算子之间可以对数据进行批量传递,减小调用开销;4. 在某些场景下,可以进行向量计算以及减小 CPU 的 Cache Miss 的情况。 完成上述两项改动之后,TiDB 在 OLAP 场景下的性能有了大幅的质的提升,从 TPC-H 的对比结果来看,所有的 Query 在 2.0 中都运行得更快,一些 Query 大多数都有几倍甚至数量级的提升,特别是一些 1.0 中跑不出结果的 Query 在 2.0 中都能顺利执行。 易用性和可运维性 为了更容易被安装和使用,TiDB 2.0 在监控、运维、工具方面也做了诸多优化。 在监控方面,增加了过百个监控项,同时通过 HTTP 接口、SQL 语句等方式暴露出一些运行时信息,用于系统调优或者是定位系统中存在的问题。 在运维方面,运维工具做了优化,简化操作流程,降低操作复杂度及操作过程对于线上的影响。同时功能也更加丰富,支持自动部署 Binlog 组件、支持启用 TLS。 2.0 详细更新列表 TiDB: 1.SQL 优化器 精简统计信息数据结构,减小内存占用 加快进程启动时加载统计信息速度 支持统计信息动态更新 [experimental] 优化代价模型,对代价估算更精准 使用 `Count-Min Sketch` 更精确地估算点查的代价 支持分析更复杂的条件,尽可能充分的使用索引 支持通过 `STRAIGHT_JOIN` 语法手动指定 Join 顺序 `GROUP BY`子句为空时使用 Stream Aggregation 算子,提升性能 支持使用索引计算 `Max/Min` 函数 优化关联子查询处理算法,支持将更多类型的关联子查询解关联并转化成 `Left Outer Join` 扩大 `IndexLookupJoin` 的使用范围,索引前缀匹配的场景也可以使用该算法 2.SQL 执行引擎 使用 Chunk 结构重构所有执行器算子,提升分析型语句执行性能,减少内存占用,显著提升 TPC-H 结果 支持 Streaming Aggregation 算子下推 优化 `Insert Into Ignore` 语句性能,提升 10 倍以上 优化 `Insert On Duplicate Key Update` 语句性能,提升 10 倍以上 下推更多的数据类型和函数到 TiKV 计算 优化 `Load Data` 性能,提升 10 倍以上 支持对物理算子内存使用进行统计,通过配置文件以及系统变量指定超过阈值后的处理行为 支持限制单条 SQL 语句使用内存的大小,减少程序 OOM 风险 支持在 CRUD 操作中使用隐式的行 ID 提升点查性能 3.Server 支持 Proxy Protocol 添加大量监控项, 优化日志 支持配置文件的合法性检测 支持 HTTP API 获取 TiDB 参数信息 使用 Batch 方式 Resolve Lock,提升垃圾回收速度 支持多线程垃圾回收 支持 TLS 4.兼容性 支持更多 MySQL 语法 支持配置文件修改 `lower_case_table_names` 系统变量,用于支持 OGG 数据同步工具 提升对 Navicat 的兼容性 在 `Information_Schema` 中支持显示建表时间 修复部分函数/表达式返回类型和 MySQL 不同的问题 提升对 JDBC 兼容性 支持更多的 `SQL_MODE` 5.DDL 优化 `Add Index` 的执行速度,部分场景下速度大幅度提升 `Add Index` 操作变更为低优先级,降低对线上业务影响 `Admin Show DDL Jobs` 输出更详细的 DDL 任务状态信息 支持 `Admin Show DDL Job Queries JobID` 查询当前正在运行的 DDL 任务的原始语句 支持 `Admin Recover Index` 命令,用于灾难恢复情况下修复索引数据 支持通过 `Alter` 语句修改 Table Options PD: 1.增加 `Region Merge` 支持,合并数据删除后产生的空 Region [experimental] 2.增加 `Raft Learner` 支持 [experimental] 3.调度器优化 调度器适应不同的 Region size 提升 TiKV 宕机时数据恢复的优先级和恢复速度 提升下线 TiKV 节点搬迁数据的速度 优化 TiKV 节点空间不足时的调度策略,尽可能防止空间不足时磁盘被写满 提升 balance-leader scheduler 的调度效率 减少 balance-region scheduler 调度开销 优化 hot-region scheduler 的执行效率 4.运维接口及配置 增加 TLS 支持 支持设置 PD leader 优先级 支持基于 label 配置属性 支持配置特定 label 的节点不调度 Region leader 支持手动 Split Region,可用于处理单 Region 热点的问题 支持打散指定 Region,用于某些情况下手动调整热点 Region 分布 增加配置参数检查规则,完善配置项的合法性较验 5.调试接口 增加 `Drop Region` 调试接口 增加枚举各个 PD health 状态的接口 6.统计相关 添加异常 Region 的统计 添加 Region 隔离级别的统计 添加调度相关 metrics 7.性能优化 PD leader 尽量与 etcd leader 保持同步,提升写入性能 优化 Region heartbeat 性能,现可支持超过 100 万 Region TiKV: 1.功能 保护关键配置,防止错误修改 支持 `Region Merge` [experimental] 添加 `Raw DeleteRange` API 添加 `GetMetric` API 添加 `Raw Batch Put`,`Raw Batch Get`,`Raw Batch Delete` 和 `Raw Batch Scan` 给 Raw KV API 增加 Column Family 参数,能对特定 Column Family 进行操作 Coprocessor 支持 streaming 模式,支持 streaming 聚合 支持配置 Coprocessor 请求的超时时间 心跳包携带时间戳 支持在线修改 RocksDB 的一些参数,包括 `block-cache-size` 大小等 支持配置 Coprocessor 遇到某些错误时的行为 支持以导数据模式启动,减少导数据过程中的写放大 支持手动对 region 进行对半 split 完善数据修复工具 tikv-ctl Coprocessor 返回更多的统计信息,以便指导 TiDB 的行为 支持 ImportSST API,可以用于 SST 文件导入 [experimental] 新增 TiKV Importer 二进制,与 TiDB Lightning 集成用于快速导入数据 [experimental] 2.性能 使用 ReadPool 优化读性能,`raw_get/get/batch_get` 提升 30% 提升 metrics 的性能 Raft snapshot 处理完之后立即通知 PD,加快调度速度 解决 RocksDB 刷盘导致性能抖动问题 提升在数据删除之后的空间回收 加速启动过程中的垃圾清理过程 使用 `DeleteFilesInRanges` 减少副本迁移时 I/O 开销 3.稳定性 解决在 PD leader 发送切换的情况下 gRPC call 不返回问题 解决由于 snapshot 导致下线节点慢的问题 限制搬移副本临时占用的空间大小 如果有 Region 长时间没有 Leader,进行上报 根据 compaction 事件及时更新统计的 Region size 限制单次 scan lock 请求的扫描的数据量,防止超时 限制接收 snapshot 过程中的内存占用,防止 OOM 提升 CI test 的速度 解决由于 snapshot 太多导致的 OOM 问题 配置 gRPC 的 `keepalive` 参数 修复 Region 增多容易 OOM 的问题 此外,同时发布的还有 TiSpark 1.0 GA 版本。TiSpark 1.0 版本组件提供了针对 TiDB 上的数据使用 Apache Spark 进行分布式计算的能力。更新包括: 1.提供了针对 TiKV 读取的 gRPC 通信框架 2.提供了对 TiKV 组件数据的和通信协议部分的编码解码 3.提供了计算下推功能,包含 聚合下推 谓词下推 TopN 下推 Limit 下推 4.提供了索引相关支持 谓词转化聚簇索引范围 谓词转化次级索引 Index Only 查询优化 运行时索引退化扫表优化 5.提供了基于代价优化 统计信息支持 索引选择 广播表代价估算 6.多种 Spark Interface 的支持 Spark Shell 支持 ThriftServer/JDBC 支持 Spark-SQL 交互支持 PySpark Shell 支持 SparkR 支持 相关链接 TiDB 的详细介绍:点击查看 TiDB 的下载地址:点击下载

2018-12-14

01开源NewSql数据库TiDB Introduction (Feb 2018)

去年十月,TiDB 1.0 版本发布,在接下来的六个月中,开发团队一方面在维护 1.0 版本的稳定性并且增加必要的新特性,另一方面马不停蹄的开发 2.0 版本。经过 6 个 RC 版本,TiDB 2.0 GA 版本于 4 月 27 日正式发布。 2.0 版本规划 根据现有用户的情况、技术发展趋势以及社区的声音,TiDB 2.0 版本主要聚焦在以下几点: 保证 TiDB 的稳定性以及正确性。这两点是一个数据库软件的基础功能,作为业务的基石,任何一点抖动或者错误都可能对业务造成巨大的影响。目前已经有大量的用户在线上使用 TiDB,这些用户的数据量在不断增加、业务也在不断演进。 提升 TiDB 在大数据量下的查询性能。TiDB 目前很多客户都有少则上百 GB,多则上百 TB 的数据,一方面数据会持续增加,另一方面也希望能对这些数据做实时的查询。所以如果能提升大数据量下的查询性能,对用户会很有帮助。 优化 TiDB 的易用性和可维护性。TiDB 整套系统的复杂性比较高,运维及使用的难度要大于单机数据库,所以希望能提供尽可能方便的方案帮助用户使用 TiDB。比如尽可能简化部署、升级、扩容方式,尽可能容易的定位系统中出现的异常状态。 围绕上面三点原则,TiDB 做了大量的改进,一些是对外可见,如 OLAP 性能的显著提升、监控项的大量增加以及运维工具的各项优化,还有更多的改进是隐藏在数据库背后,默默的提升整个数据库的稳定性以及正确性。 正确性和稳定性 在 1.0 版本发布之后,TiDB 开始构建和完善自动化测试平台 Schrodinger,彻底告别了之前靠手工部署集群测试的方式。同时也新增了非常多的测试用例,做到测试从最底层 RocksDB,到 Raft,再到 Transaction,然后是 SQL 都能覆盖。 在 Chaos 测试上面,TiDB 引入了更多的错误注入工具,例如使用 systemtap 对 I/O 进行 delay 等,也在代码特定的业务的逻辑进行错误注入测试,充分保证 TiDB 在异常条件下面也能稳定运行。 TiDB 的开发团队之前做了很多 TLA+ 的论证工作,也有一些简单的测试,1.0 之后开始使用 TLA+ 系统进行论证,保证所做的实现在设计上面都是正确的。 在存储引擎方面,为了提升大规模集群的稳定性和性能,TiDB 优化了 Raft 的流程,引入 Region Merge、Raft Learner 等新特性;优化热点调度机制,统计更多的信息,并根据这些信息做更合理的调度;优化 RocksDB 的性能,使用 DeleteFilesInRanges 等特性,提升空间回收效率,降低磁盘负载,以及更加平滑地使用磁盘资源等等。 OLAP 性能优化 TiDB 2.0 版本重构了 SQL 优化器和执行引擎,希望能尽可能快的选择最优查询计划并且尽可能高效地执行查询计划。 1.0 版本已经从基于规则的查询优化器转向基于代价的查询优化器,但是还不够完善,在 2.0 版本中,一方面优化统计信息的精确度以及更新及时程度,另一方面提升 SQL 优化器的能力,对查询代价的估算更加精准、对复杂过滤条件的分析更加细致、对关联子查询的处理更加优雅、对物理算子的选择更加灵活准确。 在这一版本中,SQL 执行引擎引入新的内部数据表示方式 --- `Chunk`,一个结构中保存一批数据而不仅是一行数据,同一列的数据在内存中连续存放,使得内存使用更紧凑,这样带来了几点好处:1. 显著减小了内存消耗; 2. 批量分配内存,减小了 GC 开销;3. 算子之间可以对数据进行批量传递,减小调用开销;4. 在某些场景下,可以进行向量计算以及减小 CPU 的 Cache Miss 的情况。 完成上述两项改动之后,TiDB 在 OLAP 场景下的性能有了大幅的质的提升,从 TPC-H 的对比结果来看,所有的 Query 在 2.0 中都运行得更快,一些 Query 大多数都有几倍甚至数量级的提升,特别是一些 1.0 中跑不出结果的 Query 在 2.0 中都能顺利执行。

2018-12-14

《你必须知道的.Net(第二版)》-王涛

你必须知道的.NET》来自于微软MVP—王涛(网名:AnyTao,博客园大牛之一,其博客地址为:http://anytao.cnblogs.com/)的最新技术心得和感悟,将技术问题以生动易懂的语言展开,层层深入,以例说理。全书主要,包括了.NET基础知识及其深度分析,以.NET Framework和CLR研究为核心展开.NET本质论述,涵盖了.NET基本知识几乎所有的重点内容。全书分为5个部分,第1部分讲述.NET与面向对象,从底层实现角度分析了.NET如何实现面向对象机制,进一步分析了面向对象设计原则;第2部分论述了.NET类型,系统和CLR的内存管理机制,并对IL语言进行了相应介绍;第3部分论述.NET Framework框架的方方面面,详细分析了.NET框架的所有重点、难点和疑点内容,对框架类库的全貌进行了必要的专题性探讨;第4部分重点介绍,了.NET泛型和安全性的相关知识和本质解密;第5部分对.NET 3.0/3.5/4.0,新特性进行了详细的介绍和引导,对于快速入门.NET新特性提供了方便之门,《你必须知道的.NET》适于对.NET有一定了解的技术学习者、软件工程,师和系统架构师阅读,同时也有助于.NET初学者进行快速提高,可作为大中,专院校和.NET技术培训机构的参考教材。

2018-12-14

领域驱动设计(完美版)

领域模型使开发人员可以表达丰富的软件功能需求,由此实现的软件可以满足用户真正的需要,因此被公认为是软件设计的关键所在,其重要性显而易见。但讲述如何将领域模型用于软件开发过程的优秀实用资料却不多见。本书正是这一领域最著名的作品,受到众多业界大师的赞美和推介,广受读者好评。 要通过创建领域模型来加速复杂的软件开发,就需要利用大量最佳实践和标准模式在开发团队中形成统一的交流语言;不仅重构代码,而且要重构代码底层的模型;同时采取反复迭代的敏捷开发方法,深入理解领域特点,促进领域专家与程序员的良好沟通。针对这些内容,本书结合真实项目,系统地介绍了领域驱动开发的目标、意义和方法,充分讨论了复杂系统的建模与设计问题。 本书将指导面向对象开发人员、系统分析人员和设计人员合理地组织工作,各有侧重、彼此协作,有条不紊地进行复杂系统的开发,帮助他们建立丰富而实用的领域模型,并由此创建长期适用的优质软件。

2018-12-14

ERP管理思想(不错的ERP总结资料)

业管理现代化是现代管理思想,现代化组织管理方法和手段的结合体.ERP这种反映现代管理思想的软件系统的实施,必然要求有相应的管理组织和方法与之相适应.因此,ERP与业务流程重组的结合是必然趋势. 流程重组的类型 1990年,美国MIT的Hammer...

2009-07-28

想明白OLAP的请看演示(综合管理之决策支持演示全安装) 3-3

想明白OLAP的请看演示(综合管理之决策支持演示全安装) 3-3 请下载新的DEMO 回复者:刘清华 时间: 2008-7-4 16:05:24 http://erp.inspur.com/download/downloadfiles.aspx?fileid=3006 请下载新的DEMO。 回复: 回复者:刘清华 时间: 2008-5-27 13:17:37 http://erp.inspur.com/download/downloadfiles.aspx?fileid=2655 最新的经营视窗DEMO1.0已经上传,通过上面的链接可以进行下载,感谢大家继续支持!经营视窗可以针对PS8.5,PS9.0的客户直接全自动安装使用,欢迎大家通过DEMO了解相应的功能,体会全自动的过程,全鼠标的操作界面!!! 回复: 回复者:刘清华 时间: 2008-5-8 14:41:18 现在有最新的可以给PS85,PS90客户直接使用的 经营视窗DEMO,全自动安装。经营视窗程序1.0安装盘。有需要的人员可以先联系我。 回复: 回复者:魏华 时间: 2008-5-4 9:59:10 很好很强大,看了之后有几点感想。 1、我们的好产品,如何标准化的包装,例如pptworddemo,这个工作能不能由自发变为有组织有计划的行为? 2、包装成什么样,谁去包装,包装的人承担什么样的角色,需要具备什么样的能力,获取什么样的肯定,是不是应该形成标准化流程? 3、包装之后,怎么去推广,去应用,例如由桃花岛这种交流性质的,转变为强制推广,是不是应该有体制约束? 清华做的东西很好,学习了。 回复: 回复者:马建军 时间: 2008-1-24 11:04:13 不错,属于原创优秀作品! 继续努力 回复者:刘敏 时间: 2007-12-20 16:33:20 同志,干得不错~~~给大家带来很大的方便 回复: 回复者:刘猛 时间: 2007-11-26 19:25:47 大家是否经常碰到以下三种情况: 1、即使我们的产品提供了大量的分析报表,但总有一些客户的报表没有包含; 2、我们已经给用户定制开发的报表,肯定会不停的修改(包括格式和取数方式) 3、项目还没实施完,客户又提出了新的报表需求 制造业事业部开发的综合管理作为公司P系列的核心数据展示系统,已经在我们很多项目上得到了应用;并且这个模块既可以灵活定制客户所需报表,又可以方便定义我们系统没有包含的各类客户业务单据,且这些单据可以任意集成在制药行业9.05版的各个模块中,在灵活应对客户多变的需求基础上,很大程度上解决代码级二次开发带来的开发效率、维护成本等问题; 如果大家在项目售前、实施过程中有这方面的需求,可以随时联系我。

2008-10-08

想明白OLAP的请看演示(综合管理之决策支持演示全安装) 2-3

想明白OLAP的请看演示(综合管理之决策支持演示全安装) 2-3 请下载新的DEMO 回复者:刘清华 时间: 2008-7-4 16:05:24 http://erp.inspur.com/download/downloadfiles.aspx?fileid=3006 请下载新的DEMO。 回复: 回复者:刘清华 时间: 2008-5-27 13:17:37 http://erp.inspur.com/download/downloadfiles.aspx?fileid=2655 最新的经营视窗DEMO1.0已经上传,通过上面的链接可以进行下载,感谢大家继续支持!经营视窗可以针对PS8.5,PS9.0的客户直接全自动安装使用,欢迎大家通过DEMO了解相应的功能,体会全自动的过程,全鼠标的操作界面!!! 回复: 回复者:刘清华 时间: 2008-5-8 14:41:18 现在有最新的可以给PS85,PS90客户直接使用的 经营视窗DEMO,全自动安装。经营视窗程序1.0安装盘。有需要的人员可以先联系我。 回复: 回复者:魏华 时间: 2008-5-4 9:59:10 很好很强大,看了之后有几点感想。 1、我们的好产品,如何标准化的包装,例如pptworddemo,这个工作能不能由自发变为有组织有计划的行为? 2、包装成什么样,谁去包装,包装的人承担什么样的角色,需要具备什么样的能力,获取什么样的肯定,是不是应该形成标准化流程? 3、包装之后,怎么去推广,去应用,例如由桃花岛这种交流性质的,转变为强制推广,是不是应该有体制约束? 清华做的东西很好,学习了。 回复: 回复者:马建军 时间: 2008-1-24 11:04:13 不错,属于原创优秀作品! 继续努力 回复者:刘敏 时间: 2007-12-20 16:33:20 同志,干得不错~~~给大家带来很大的方便 回复: 回复者:刘猛 时间: 2007-11-26 19:25:47 大家是否经常碰到以下三种情况: 1、即使我们的产品提供了大量的分析报表,但总有一些客户的报表没有包含; 2、我们已经给用户定制开发的报表,肯定会不停的修改(包括格式和取数方式) 3、项目还没实施完,客户又提出了新的报表需求 制造业事业部开发的综合管理作为公司P系列的核心数据展示系统,已经在我们很多项目上得到了应用;并且这个模块既可以灵活定制客户所需报表,又可以方便定义我们系统没有包含的各类客户业务单据,且这些单据可以任意集成在制药行业9.05版的各个模块中,在灵活应对客户多变的需求基础上,很大程度上解决代码级二次开发带来的开发效率、维护成本等问题; 如果大家在项目售前、实施过程中有这方面的需求,可以随时联系我。

2008-10-08

想明白OLAP的请看演示(综合管理之决策支持演示全安装) 1-3

请下载新的DEMO 回复者:刘清华 时间: 2008-7-4 16:05:24 http://erp.inspur.com/download/downloadfiles.aspx?fileid=3006 请下载新的DEMO。 回复: 回复者:刘清华 时间: 2008-5-27 13:17:37 http://erp.inspur.com/download/downloadfiles.aspx?fileid=2655 最新的经营视窗DEMO1.0已经上传,通过上面的链接可以进行下载,感谢大家继续支持!经营视窗可以针对PS8.5,PS9.0的客户直接全自动安装使用,欢迎大家通过DEMO了解相应的功能,体会全自动的过程,全鼠标的操作界面!!! 回复: 回复者:刘清华 时间: 2008-5-8 14:41:18 现在有最新的可以给PS85,PS90客户直接使用的 经营视窗DEMO,全自动安装。经营视窗程序1.0安装盘。有需要的人员可以先联系我。 回复: 回复者:魏华 时间: 2008-5-4 9:59:10 很好很强大,看了之后有几点感想。 1、我们的好产品,如何标准化的包装,例如pptworddemo,这个工作能不能由自发变为有组织有计划的行为? 2、包装成什么样,谁去包装,包装的人承担什么样的角色,需要具备什么样的能力,获取什么样的肯定,是不是应该形成标准化流程? 3、包装之后,怎么去推广,去应用,例如由桃花岛这种交流性质的,转变为强制推广,是不是应该有体制约束? 清华做的东西很好,学习了。 回复: 回复者:马建军 时间: 2008-1-24 11:04:13 不错,属于原创优秀作品! 继续努力 回复者:刘敏 时间: 2007-12-20 16:33:20 同志,干得不错~~~给大家带来很大的方便 回复: 回复者:刘猛 时间: 2007-11-26 19:25:47 大家是否经常碰到以下三种情况: 1、即使我们的产品提供了大量的分析报表,但总有一些客户的报表没有包含; 2、我们已经给用户定制开发的报表,肯定会不停的修改(包括格式和取数方式) 3、项目还没实施完,客户又提出了新的报表需求 制造业事业部开发的综合管理作为公司P系列的核心数据展示系统,已经在我们很多项目上得到了应用;并且这个模块既可以灵活定制客户所需报表,又可以方便定义我们系统没有包含的各类客户业务单据,且这些单据可以任意集成在制药行业9.05版的各个模块中,在灵活应对客户多变的需求基础上,很大程度上解决代码级二次开发带来的开发效率、维护成本等问题; 如果大家在项目售前、实施过程中有这方面的需求,可以随时联系我。

2008-10-08

吉林大学教学课件:数据通信(旧)--刘衍珩.rar

课件 吉林大学 数据通信 刘衍珩 计算机学院 吉林大学课件:数据通信--刘衍珩 经典不必多说。 祝刘老师一切都好 刘衍珩 男,1958年4月生,博士、教授、博士生导师。受国家留学基金委员会资助,分别于2000.7-2001.4、1998.8—1999.8和1988.9—1989.12赴加拿大Motorola、加拿大UBC和英国赫尔大学从事科研合作和作访问学者。主要研究领域:网络通信与协议设计、移动IP网络中的QoS机制、基于策略的网络管理和网络入侵检测技术等。主持了部省级课题12项,参加过国家自然科学基金和863课题的研究工作,有一项成果入选《中国八五科技研究成果选》。以第一作者在“软件学报”、“计算机研究与发展”、“通信学报”等发表论文33篇,被SCI、EI检索10篇;主编教材4本。

2008-10-08

吉林大学教学课件:面向对象建模技术-柴胜(10作业共10)

吉林大学教学课件:面向对象建模技术-柴胜 包含9课,附加上作业以及答案

2008-10-08

吉林大学教学课件:面向对象建模技术-柴胜(9共10).

吉林大学教学课件:面向对象建模技术-柴胜 包含9课,附加上作业以及答案

2008-10-08

吉林大学教学课件:面向对象建模技术-柴胜(6-8共10)

吉林大学教学课件:面向对象建模技术-柴胜 包含9课,附加上作业以及答案

2008-10-08

吉林大学教学课件:面向对象建模技术-柴胜(4共10)

吉林大学教学课件:面向对象建模技术-柴胜 包含9课,附加上作业以及答案

2008-10-08

卢刚-售前体系如何配合销售

卢刚-售前体系如何配合销售 相当精彩的片子,结合实例讲的非常棒。 作者功力很深厚

2008-10-08

业务驱动的系统开发和维护管理

业务驱动的系统开发和维护管理 业务驱动的系统开发和维护管理

2008-10-08

一篇关于人生定位和博弈理论的文章

《一篇关于人生定位和博弈理论的文章》 与大家共勉

2008-10-08

IT技术推动CFO管理变革

鲁花集团 财务总监 杨福金的片子。 对大型企业应用ERP系统的总结和经验只谈。对其他想从事财务管理以及技术向管理转型的同行有借鉴意义。

2008-10-08

ERP的管理思想 -

某人整理的。 《ERP管理思想》 对ERP的入门和中等应用有不少很好的见解

2008-10-08

《德鲁克:管理者实践》

德鲁克:管理学大师中的大师。 其经典著作。学管理 不课不读。

2008-10-08

SAP NetWeaver企业服务架构

SAP NetWeaver企业服务架构,来自SAP的培训资料,对于NetWeaver应用者是个非常好的资料。

2008-10-08

OBA高阶应用 (涂曙光)

这个资料是微软MVP涂曙光现场讲解的PPT,主要内容为OBA的一些高阶应用,对OBA应用人员具有很高的启发和应用价值。

2008-10-08

OBA商业价值资料(中文版)From Microsoft

内容摘要:本文将充分阐述什么是OBA,以及如何借助它来  在企业既有业务应用系统之上,而不是游离于企业业务应用系统之外,扩展其协作,统一沟通,商业智能,企业知识资产管理和利用,企业搜索等能力;  提升企业核心业务应用的使用水平和投资回报。

2008-10-08

C# 连连看 源代码

一个朋友写的,对于游戏编程入门具有很好的指导意义。里面的设计模式思想也值得借鉴。

2008-10-08

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除