- 博客(76)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 大数据业界最新动态（2016.07.26，第14期，不断更新中）
大数据业界最新动态@(大数据)[投资|技术]bigdata （https://sens2010.gitbooks.io/bigdata）是一个为国人提供大数据资讯的项目，资讯来源于各大知名互联网门户并进行汇总整理，所有内容均以交流学习为目的，欢迎任何形式建议与意见的反馈hanyueqi@cnic.cn。2016年07月26日 （第十四期）本期动态主要有： - 上周潜在90起投融事件，国内投资数量急
2016-06-08 21:58:41
6218
原创 MongoDB环境配置及集群一键部署
1、MongoDB在Linux下的安装配置应用shutdown kill -2/-4use admin； db.shutdownServer();kill -9 可能会导致数据丢失、文件损坏、之后需要进行修复；2、MongoDB体系结构解读跨平台数据库Linux、Unix、Max、Windows整体架构相同MongoDB Server实例、数据库
2017-03-06 16:03:20
2453
原创 MongoDump与MongoRestore若干小坑
1、MongoDump 使用MongoDump进行数据导出，总是在导出某些集合的时候出现问题，意外终止，分析问题： 集合问题，是否是名称或集合里面数据有问题，经检验单独导出该集合没有任何问题； Baidu，Google后均为果，只能自己思考。 比较诡异问题：每次dump必断，而且会搞垮整个mongodb服务器； 经排查，同事没有
2017-03-06 15:56:00
7913
原创 MongoDB集群性能优化
1、软件方面MongoDB版本选择锁粒度Global（2.2-）DB锁（2.2+）Collection（2.4+）Document锁（2.6+）读写锁、写优先锁性能逐渐增强启发尽量选择新的稳定版本性能提升稳定bugs fixed索引创建设计不合理长索引字符串等idobjectid12字节应用程序替换月业务需要uid灵活
2017-03-06 15:53:50
1742
原创 MongoDB3.0版本特性
1、主要特性性能提升7-10倍；数据压缩率80%；减少95%运维成本；插件式存储引擎：Wired Tiger文件锁磁盘压缩可配置内存使用上限MMAPV1存储引擎优化库级锁到表级锁文档分配方式优化副本集优化、集群优化、其他优化2、MongoDB3.0部分性能测试情况写入特性数据压缩运维速率提升3、特点可插入新的存储引擎（Wired Tiger）文档级别锁S
2017-03-06 15:52:31
693
原创 MongoDB如何无缝版本升级
什么情况下需要做版本升级稳定性提升MongoDB比较年轻，稳定性方面问题相对较多稳定性是什么进程崩溃进程异常系统上下文频繁切换，CPU占用率高MongoDB新版本稳定性提升线下充分的验证测试性能提升表现那些方面（相同条件下）吞吐量增加CPU占用量减少内存占用减少磁盘I/O利用率更高LOCK变少MISS减少FAULT较少MongoD
2017-03-06 15:51:40
4202
1
原创 MongoDB集群如何无缝扩容扩展
1、什么情况下需要进行扩容数据量接近单机磁盘总容量数据容量接近磁盘容量80% df内存使用量接近内存容量80% free访问量 iostat -xdk 1storage与datesize两倍左右关系2、常用的MongoDB集群扩容方案Scale UpScale Out读密集型单节点无法应对所有操作即便hotdate index已经加载到内存中
2017-03-06 15:50:28
5612
原创 MongoDB常见问题及解决方案
1、大量删除数据问题及解决方案在线消息定时删除请求量增加，垃圾数据需要进行删除离线批量删除msgidcontenttimestampflagobjectidfromto针对flag=1时进行删除时的问题，并非索引或者分片结果；更新方式业务层优化逻辑删除转为直接物理删除离线删除优化每晚定时从库导出要删除的数据通过脚本按照obje
2017-03-06 15:49:42
2376
原创 MongoDB集群监控
1、监控的目的即使获取应用程序运行状态，问题出现时及时发现；被动、主动监控没有监控不能及时掌握运行情况问题不能及时发现、解决用户上报被动监控什么机器资源及时发现机器资源不足CPU、内存、硬盘I/O、网络I/O等；MongoDB应用程序进程管理重启aliveps -aux|跟人跑mongod语义监控进程管理是否正常工作模拟发
2017-03-06 15:48:48
1528
原创 MongoDB表的设计
1、Collection Sharding是否靠谱Sharding key的一些烦恼；单一key可能导致分布不均匀；使用符合Sharding KEY复合sharding key也不是万能的；Count计算性不准确；Balancer不够智能，时间不确定；禁用Auto-Sharding功能不可靠（尤其是2.X版本）；线上禁用Auto-Sharding开启库级Sharding；固
2017-03-06 15:47:51
5520
原创 MongoDB Sharding及数据库设计
1、MongoDB Sharding基本共识随机I/O转为顺序I/O；步骤越少，查询越简单，性能越高。多做不如少做，少做不如不做；大数据查询，分布式并行查询能力高；三个注意事项插入文档必须带上sharding key不接受修改片键值（读取、删除、插入新文档）如果文档中包含不同类型的值，排序规则，按照类型排序，同类型与大家期望相同；ChunkSize选择
2017-03-06 15:45:22
609
原创 和君第一次演讲
演讲主题：《产业思维养成与未来职业选择》演讲时间：2016年11月23日，19:05 - 21:05演讲地点：中国农业大学东校区，信息与电气工程学院103教室听众总人数：34人演讲概况：考虑到听众都是准备就业的学生，选择未来职业选择这样一个实践性话题。首先，使用”大学生就业状况与未来职业潜在危机“、”两份招聘启事“、”未来具有钱景的行业“三个讲前秀将学生带入对求职过程的思考
2016-11-30 14:47:05
764
原创 一种通用的DAO访问方法
在SpringMVC开发过程中各个层级需要编写大量重复代码，解决方法有三：其一、粘贴复制，似乎不少人这么干；其二，通过代码生成工具，设置变量替换大量文件；其三，构建通用方法实现代码复用。写者疲于复制，没有采用第一种，没有现成好的模板没有采用第二种，于是，通过第三种方法构建通用访问方式。要点考虑通用方法必须考虑的几点：通用到何种程度，通用到哪个级别如何控制相应层次，如何解决不同实体的差异访问以及如何进
2016-07-21 17:16:19
1761
原创 Spring定时任务之Quartz
Spring定时任务之QuartzSpring通过DI和IoC方式给大家提供了很多便捷操作，很多地方不需要编写大量代码，仅需要通过配置文件加简单的注解就可以完成，最近在项目开发过程中用到Quartz，借此学习并跟大家分享一下。 Quartz作为老牌Scheduler执行工具，提供了很多便利，学习起来也比较方便，由于之前进行网站开发相对较少走了不少弯路。首先，项目需要通过maven引入相关开发包，从
2016-07-21 16:34:07
299
原创 Tomcat集群部署
1、Tomcat集群部署，一边情况是nginx+tomcat+memcached，考虑的重点就是Session共享机制，当也可以考虑tomcat自身的合并与复制，但是对扩展的话就多少有些差强人意；2、闲话少说，Memcached-Session-Manager就是进行Session共享的jar包，原本是google project上面的项目无法访问，现上面项目在github上也有保存，地址ht
2016-03-30 09:05:03
527
原创 twemproxy集群部署
1、twemproxy主要用于memcached集群与redis集群的部署，其中定义了不少相关的参数；2、redis集群部署示例：redis1: listen: 0.0.0.0:9999 redis: true hash: fnv1a_64 distribution: ketama auto_eject_hosts: true timeout: 40
2016-03-30 09:04:12
652
原创 消息中间件与RPC若干问题简析
1、消息中间件和消息通信与RPC各自具有怎样的优势，如何互补消息中间件主要实现的是异步、弹性消息以及队列，弹性消息有时可以借助于外存从而一定程度上可以实现峰值缓存，有效均衡服务器端压力，同时消息可以进行一定程度上的定于，从而实现了基于分组的广播，同时可以实现消息订阅；RPC则是主要集中于外部的方法调用，通过某种通讯方式实现数据的集中调用与访问，以简单通讯协议为像本地方法一样完成远程方法调用
2016-03-30 09:02:09
4127
原创 分布式系统中的高可用若干问题
1、高可用常识系统不可用时间=故障修复时间点-故障发现时间；系统年度可用性=（1-不可用时间/年度时间）*100%；过载、断点、挖断光缆、误操作、代码质量问题、流程过于自动化；如何提高？硬件、环境，x86系统的可靠性比unix低一些；同城、异地负载，系统运维比较关键，适当巡检；系统监控与告警，自动修复；2、打造高可用系统主备（Master-Slave、VIP；自动切换与
2016-03-30 08:59:31
1007
原创 分布式高性能的若干问题
1、Linux的什么内核包括LVS，说说LVS的三种负载均衡模式的原理与效率对比；2.6.32之后的内核版本包括LVSLVS-DR，直接相连模式，调度器与实际服务器各有一块网卡，并且都连在相同的网段上，客户端访问调度器，之后直接调度器进行ARP解析，解析到相应的服务器上，从而从服务器返回，在整个过程中公用一个对外访问地址；LVS-NAT，NAT模式，调度器通过端口转发的方式，将数据内容通过
2016-03-30 08:57:06
616
原创 OpenAIS学习笔记
OpenAIS概况资源、服务与节点关系：资源（vip、httpd、filesystem）或多个资源组合，服务运行在某个主机上，所有资源同时运行在一个节点上；资源类型：原生资源（运行于一个节点）、组资源、克隆资源、主从资源；资源故障转移：资源粘性（是否能远离该节点），位置约束，排列约束（优先运行），顺序次序（操作顺序）；节点存在方式节点成员；等同的
2016-03-30 08:55:01
1915
原创 MyCat分布式框架演化过程（安利贴）
1、MyCat为什么没用使用Netty2、简单、高效3、MyCat配置文件的变迁4、引入ZooKeeper配置（配置标准化、易于与其他系统集成）5、跨分片SQL Join的问题6、Spark SQL转化问题7、MyCat Server转发方式8、MyCat高可用（升级问题）
2016-03-30 08:51:09
455
原创 一种简单的分布式系统服务架构
1、整体框架2、主要难点：首先，使用一些现有的框架完成时，需要在负载均衡策略上进行一定的考虑，必要时可能会修改一部分现有框架的源码；其次，在异常情况下主负载均衡与备份负载之间需要通过ZooKeeper进行感知及业务转换；另外，在进行服务的过程中需要考虑异常情况下服务器如何进行返回处理数据的问题，可以在不同的服务器上都对ZooKeeper进行监听从而达到变化时内容变化的目
2016-03-30 08:44:16
345
原创 Apache-APR配置方案
cd httpd-2.2.2 安装APR cd srclib/apr #./configure --prefix=/usr/local/apr #make #make install 安装APR-util cd srclib/apr-util #./configure --prefix=/usr/local/apr-util --with-apr=/
2016-03-30 08:41:35
436
原创 Java高性能计算若干内容
1、分布式系统中高性能问题及难点（单一节点能力最高）内存和并发编程领域的难题；网络通信；事件编程；2、内存和并发编程领域的难题Java建立线程与CPU之间的映射及Heap与内存之间的透明化；Java无法直接操作物理内存，目前可以DirectByteBuffer（可在堆外分配内存，可以跳过GC，但是内存释放有一些问题，移动过程中存在内存复制及CPU消耗（序列化与反序列
2016-03-30 08:40:03
1707
原创 如何做好数据模型设计及模型管理？
通过这段时间的学习，对数据建模以及建模过程中所涉及的领域、知识有了一个初步的概念，然而如何设计好数据模型，并有效地进行模型管理是一个涉及多领域的话题。例如，在程序开发过程中，数据涉及到需求、设计、开发、测试、后期整理的整个过程，在这个过程中数据、数据模型、模型管理、模型管理流程在其中所充当的角色可能是值得大家考虑及考量的事情，同时如何协调好在开发的过程中与多方的关系又变成了一门管理、沟通方面的
2016-03-30 08:38:08
4809
原创 如何成为真正的数据架构师
1、为什么需要构建数据架构数据标准不一致（列名相同数据类型不同、列明相同数据类型相同长度不一、列名没有统一标准识别困难、列名定义不统一类型不一致长度不相同、中文名称相同英文缩写不同或英文缩写相同中文名称不同）数据标准化管理提些（构建动态单词库，标准遵循度自动检测，标准自动应用，标准管理流程化，构建知识库基础内容，为大数据应用提供统一标准）标准化管理实施成果，用语校验机制（申请、校验、标准知
2016-03-30 08:37:20
6372
原创 OLAP系统功能小析
OLAP系统小析OLAP与OLTP系统从本质上都属于数据处理的基本方式，只是在系统的功能与作用上有一定的区分，OLTP更适合或者倾向于业务数据处理，限时返回业务处理结果，同时在业务处理的过程中一般都是业务逻辑的处理过程。而OLAP一般都是倾向于业务数据分析过程，例如在业务数据的基础上进行数据分类、数据检验、数据报表生成以及数据规律的挖掘，从而借助于系统实现知识的不断增长从而达到决策支持的目的。
2016-03-30 08:35:56
1050
原创 大数据时代下OLAP的角色转换
在传统的数据仓库下，基本上都是以为数据的完全拥有与完全存储为己任，进而在上面进行相应的数据操作与数据处理，然而大数据时代下OLAP本身的功能需要因为大数据相关技术的发展而产生一些变化。个人感觉可能会产生以下几个方向的转换：1、数据处理方式的变化，之前通过一种数据即可处理数据，当数据量达到一定规模时，就无法依照这种方式进行处理，需要借助于Hadoop或者其他的并行处理框架进行计算，这一点可以当作
2016-03-30 08:34:58
524
原创 ITIL系统数据质量检查
在进行ITIL系统的设计与开发过程中，总是会遇到各种各样的数据处理方案及问题，例如ITIL平台的数据源来自于三个不同的平台，在不同的平台中会有不的数据标准，同时在进行错误检查的过程中又有不同的标示方式标记错误数据。 例如，其中一个两个系统以null值作为未获取数据的标示，而另外一个系统以-9999作为未能获取数据标示，所以如果在进行存储及搜取的过程中，需要解决这些问题，将其变成统一
2016-03-30 08:33:41
689
原创 数据质量保证若干步骤
1、管理层面： 数据质量标准（完整性、唯一性、有效性、一致性、正确性）； 数据质量针对具体的数据内容，进行数据内容进行系统检查；2、业务层面： 数据质量关键对象（CTQ）：业务上最重要的部分对应的数据； 对已发现的问题进行访谈调查， 数据剖析： 数据概要分析，对数据源表中值进行系统化的预先分析，可以帮助发现业务的实际规
2016-03-30 08:32:21
2374
原创 数据标准化与数据模型的管理流程
当一个企业进行数据标准化或数据模型管理时，除了对数据本身标准化规则或者相应表格的构建外，相当大一部分需要考虑标准化流程的管理。而在管理过程中必然会设计到新旧系统、不同部门、不同业务的冲突，这些冲突如果解决不好将会直接导致标准化或者模型管理的失败。 从这个角度看，标准化或者模型管理的过程更多的涉及沟通，此时可以当成一个项目来进行处理，此时可以把标准化或者标准写入当成是变更来进行处理
2016-03-30 08:30:32
8329
原创 数据标准化中词汇分类中需要注意的小问题
在进行数据标准化方法的学习过程中，结合平常的项目开发的一些例子，感觉我们在词汇整理与规范化过程中需要注意的几个小问题。师出有名。数据标准化需要有一定的驱动或者契机，甲方或者某些利益相关的群体有了这样的需求，需要我们对数据进行标准化，这样就会在标准化的过程中给予一定的支持。有章可循。在进行标准化时，我们需要有一块“黑板”，上面记录了我们已经做的标准，让相关人员可以看到，这样可以让所有人看到标
2016-03-30 08:29:33
600
原创 数据标准化中数据域的确定
在进行数据标准化的过程中需要确定属性或者实体的域，通过该域可完成属性或者实体的类别划分以及属性的某些类型约束。例如我们可以在域中确定域的描述信息例如类型、长度以及解释信息，从而实现了域某种程度上的约束。在我看来在数据标准中引入域的概念可能有以下几方面的考虑：构建一种通用的、标准化的数据格式，这样便于系统内部或者标准化主体之间的数据交互；构建一种关于相同信息的统一描述，该描述特指业务
2016-03-30 08:28:46
2641
原创 数据标准化
从广义上来讲，数据标准化的过程可以看作是业务系统内部或业务系统之间，乃至整个数据治理系统中的一个“语言”统一的过程。只有语言统一，才能让同一业务系统或者不同业务系统之间有了对话、调用、通信的可能，从而保证使用的都是特定的某一个方言。同样，数据标准化的过程反映程序及系统设计或架构级别时，就可以看作连接程序、机器、用户的一个枢纽，通过标准化让程序、机器、用户都明白某一个词素的确切含义，如果引入新系统或
2016-03-30 08:27:12
473
原创 LOD你好，LOD再见
受前任领导临行托孤，结果LOD项目，由于涉及干系故将全名隐去，且做LOD。然而，该项目本身带有不少研究性质，故而可能需要稍动脑筋进行解决，或方案取巧或结果可人，然而项目交付性质偏重，所以当时权当锻炼一番为目的因而选择不少新鲜技术，由此为课题结项埋下隐患。项目已经两年，与相关参与方沟通过两次，由于直接利害关系不明朗，所以沟通过程场面话居多，不过交流的过程中也可以看出来他们是比较希望项目能继续开展
2016-02-01 11:12:33
838
原创 我的剑留给能挥舞它的人——纪念逝去的2015
2015将渐渐成为往事，没有什么比时间的流逝更让人悲伤。面对惨淡收场，心中多少会有些许凄凉。回忆整整一年发现一直都是独自忙碌的身影，望着一路走来的自己除了疲于奔命我还能说些什么呢？理想的丰满与现实的骨感交相辉映，共同协奏一曲关于奋斗的故事。豁达是一种态度，但是临近眼前时却缺少勇气去执行这样的态度。人生也许就在不但的从肯定、否定，再到否定之否定，说不定乐趣正在于此。一直天真地以为
2015-12-25 00:23:47
1442
原创 跟着岐哥学WebApp（一）
缘生 接近年关，项目频繁交账，其中一个项目需要开发一个移动端采集，大概月底需要在IPad上有一个基本可用的程序，将现有的程序替下。这是大体背景，同时在架构及功能的要求还比较容易把握，移动端开发基本上还是三年前涉及Android原生开发，开发流程大不相同，正好借此机会熟悉一下WebApp开发流程。基本上保持2~3天写一次总结，总的下来应该会有十多篇，留作记录之用。缘起
2015-12-09 18:42:30
461
原创 第三届IT禅修营善行实践指导小组讨论
会议过程中，各小组都说明了一下目前的现状与问题，当然每个组也有自己的方法，一如法师所说“真正的善行实践尚未开始”，这仅仅是预热。会上各位师兄提出不少方法与思路，例如如何结合O2O模式进行推广，简单易行、具体化的方式是否更有感召力与可行性，如何将实现从人物到习惯的养成等等，大家各抒己见，看问题角度多样，从一定程度上也可以看出大家其实是希望将这件事情做好的。法师对善行实践本身的特点进行总结：
2015-10-19 19:02:28
717
原创 技术做减法
随着技术不断地更新换代，大家对技术的热情与信念不减，诚然，这是好事，至少证明在开发的生涯中你还算的上年轻有活力。然而，是否真的如此拼命学习新技术之后真的对知识框架及职业生涯有帮助呢，下面来说道一二。第一，你要学习的技术将来是否能用上，或者对未来一两年有所帮助，如果没有请简要学习或者学习原理性知识，知其所以然，而后等到用的时候再深入知其然。第二，你要学习的技术是否是主流技术，在当前大数据
2015-09-22 18:15:56
598
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人