- 博客(90)
- 资源 (3)
- 收藏
- 关注
RSS订阅解码混合云
今天聊聊混合云。 一、为什么需要混合云 企业规模的大小不一样，对技术和安全的掌控的力度不一样，所以导致云有多种部署模式。根据部署的方式不同，分为公有云，私有云和混合云等几种。 公有云老大AWS一直对私有云和混合云不是很感冒，认为公有云才是趋势。当前能知道的只有美国中央情报局(CIA)的6亿美元大单，其他鲜见AWS在私有云上有动作。 另一家云大厂，微软一上来就...
2017-06-27 21:23:02
300
Docker和hadoop
Docker Docker很热，怎么形容？感觉开源除了spark技术，就是docker了，甚至把Go语言也带火了，把Go在TIOBE的排名从百名外带入主流语言的行列。Docker快成救世主了，这么牛逼的技术，docker和hadoop碰撞出什么火花来呢，是不是得赶紧用上呢？就不介绍具体什么是docker了，不是一门全新的技术，是基于LXC的高级容器引擎，从linux内核发展出来...
2017-06-27 21:17:18
554
滴滴背后的大数据应用
2017-01-07 朱洁 大数据和云计算技术前言：这是一篇大数据应用文章，不涉及高深技术，适合大数据入门的同学了解大数据能干什么，所有数据/消息全部来源公开网络。 先聊个最近的消息，近年来发展最快的公司滴滴传言裁员，消息真假难辨。网络传言：“滴滴出行可能正在进行成立4年多以来最大规模的一次裁员。有多个信息源对36氪称，最近滴滴正在裁员；甚至有知情人士告知36氪...
2017-01-08 15:54:29
4080
闲聊共享单车
2017-01-01 朱洁 大数据和云计算技术2016年现象级产品，首推共享单车。 说起最早推共享单车的是政府，政府从公益出发，十几年也不温不火。 摩拜／ofo推出的无桩共享单车，可以随借随还，车上安装GPS，SIM卡，嵌入式芯片，让一辆单车智能化，用户用手机可以扫描二维码可以随借随还。是一个典型的用新技术解决传统行业的不便利，提升易用性。互联网思维的一...
2017-01-01 17:15:11
431
AWS和Oracle的战争
原创 2016-12-22 朱洁 大数据和云计算技术1、云上数据库战争 今年年初，Oracle首席技术官Larry Ellison野心勃勃地将矛头对准了AWS，暗示数据库巨头Oracle会成为云计算领域的领导者。 在今年的AWS re:Invent大会上，AWS首席执行官Andy Jassy对此做出了回击。Jassy在主题演讲中将AWS的能力称为“超能”...
2016-12-24 08:06:36
693
BDTC 2016参会感受
2016-12-18 朱洁 大数据和云计算技术中国大数据技术大会（BDTC）的前身是Hadoop中国云计算大会（Hadoop in China，HiC），从08年举办，今年是第9界。2016中国大数据技术大会在12月8日-10日在北京举行，主办单位是计算机学会。 在国内，这个算是大数据领域比较大的会，我也是连续参加这个会。相关的会议报道很多了，我主要讲下个人感...
2016-12-22 22:52:13
177
闲聊乐视
2016-12-11 朱洁 大数据和云计算技术1、为什么讨论乐视 乐视这几年一直是新闻话题的中心。上个月乐视手机供应链缺钱的消息传出来，贾老板一封邮件将事件推向高潮，一下子乐视成为了全民话题。 为什么写一写对乐视的看法，锻炼和坚持自己的独立批判思维非常重要，不要人云亦云。也欢迎大家一起讨论。：） 2、乐视现在内部情况到底如何？ 乐视最近坏...
2016-12-11 15:52:38
191
元数据的作用
元数据的作用 2016-11-23 刘耀铭 大数据和云计算技术刘耀铭同学元数据系列作品的第二篇，大家支持！其他有兴趣的同学也可以联系我一起学习，进步！具体内容参考：怎么快速提高技术？ 其他元数据相关系列文章：元数据概念基于元数据驱动的ETLHive 元数据表结构详解 上一遍我们了解了什么是元数据，即元数据的定义，我们知道了元数据是对数...
2016-12-04 18:17:11
1227
喜大普奔，《大数据架构详解》一书 登陆 当当，京东热卖榜
2016-11-27 朱洁 大数据和云计算技术最近加班太多，“江郎才尽了”，这周不想写博客了，休息下。 讲点高兴的事情，我的新书《大数据架构详解》登陆当当，京东热卖榜。 1、先看当当： 计算机类，新书热卖榜 第七名！ 2、京东 大数据和云计算类 热卖榜 第14位（不止新书，统计所有的，刚上架一个月，这个还行。 最后，感谢各...
2016-12-04 18:03:47
162
元数据概念
元数据概念2016-11-17 刘耀铭 大数据和云计算技术刘耀铭同学元数据系列作品的第一篇，大家支持！其他有兴趣的同学也可以联系我一起学习，进步！具体内容参考：怎么快速提高技术？ 其他元数据相关系列文章：基于元数据驱动的ETLHive 元数据表结构详解 1、 元数据是描述其他数据的数据（data about other data）...
2016-12-03 16:35:46
210
原创 搜索简史
搜索简史2016-11-12 朱洁 大数据和云计算技术现在的同学很难想象没有搜索引擎的日子，国内的百度，国外的Google，Bing基本成为互联网的唯一入口，上网的第一件事是搜索一下。 回想整个互联网，关于信息获取，可以分为这么几个阶段： 1）门户网站 20世纪末的时候大家还玩的是门户网站。全世界出名的网站就那么几个，国外Yahoo，国内S...
2016-12-03 16:34:16
192
博客导读
2016-11-06 朱洁 大数据和云计算技术闲来无事，简单整理下博客，方便大家阅读。具体的不解释，自己看。 一、胡扯乱聊 一万小时定律写给自己的2014年中回顾2015年完成的第一本英文原著书写给自己定2015第二次机器革命《大数据架构详解》答疑（一）为什么写《大数据架构详解》这本书书籍推荐：《大数据架构详解》，京东已...
2016-11-12 10:21:50
151
计算机系统结构变革在即？
2016-10-23 朱洁 大数据和云计算技术15年6月，intel正式宣布167亿美元收购FPGA生产商Altera。此交易为该公司有史以来涉及金额最大的一次收购案例。167亿美金不是小数目，intel 为啥花这么高的代价收购一家FPGA厂商？对x86架构的计算机系统结构会带来什么影响？看我们慢慢分析。 FPGA是什么？ FPGA（Field－Progr...
2016-10-23 16:31:54
203
为什么写《大数据架构详解》这本书
花了差不多一年半时间，牺牲了每个周末，费了九牛二虎之力，终于完成个人人生的第一本书《大数据架构详解：从数据获取到深度学习》。整个过程其实挺痛苦的，时常想放弃，幸好坚持下来了。 回想这我500天，我常问自己两个问题： 1）我问自己为什么选择去写一本大数据技术的书，是什么让自己坚持？我感觉可能更多的原因是实践大数据架构和技术这么多年，对技术的理解到一定的程度，...
2016-10-22 12:36:07
296
非易失性存储一览
2016-10-16 朱洁 大数据和云计算技术RAM：随机存取存储器（random access memory，RAM）又称作“随机存储器”，是与CPU直接交换数据的内部存储器，也叫主存(内存)。它可以随时读写，而且速度很快，通常作为操作系统或其他正在运行中的程序的临时数据存储媒介。 内存速度非常快，但是同时也有一个特性就是易失性，当电源关闭时RAM不能保留数据。...
2016-10-16 16:36:31
2428
1
深度学习的本质探究？？
原创 2016-10-07 朱洁 大数据和云计算技术1、人工智能浪潮又起 标志型事件，阿尔法围棋（AlphaGo）战胜李世石。 alphago是一款围棋人工智能程序，由谷歌（Google）旗下DeepMind公司的戴维·西尔弗、艾佳·黄和戴密斯·哈萨比斯与他们的团队开发，这个程序利用“价值网络”去计算局面，用“策略网络”去选择下子。2015年10月阿尔法围...
2016-10-16 16:33:20
724
macOS Sierra：Apple统一os体验实质性一步
2016-10-03 朱洁 大数据和云计算技术在6月14日凌晨举行的WWDC2016苹果全球开发者大会上，苹果针对MAC系列电脑发布了全新macOS。直到今天终于全面推送，可以正式使用，我更新尝试了一下，还不错！ 关于桌面OS有一个很小的细节可能大家并没在意，那就是苹果终于将沿用了长达15年之久的OS X操作系统正式更名为macOS（最新版系统名称为Sierra）...
2016-10-04 14:30:27
230
"Google X"大起底
2016-09-25 朱洁 大数据和云计算技术“Google X”来源 Google X，是谷歌公司最神秘的一个部门，位于美国旧金山的一处秘密地点，该实验室的机密程度堪比CIA，仅少数几位谷歌高层掌握情况，在其中工作的人，都是谷歌从其他高科技公司、各大高校和科研院所挖过来的顶级专家。“Google X”有一份列举了100项未来高科技创意的清单，其中甚至包括太空电梯。 ...
2016-10-02 15:59:56
148
原创 量子通讯扫盲
2016-08-20 朱洁 大数据和云计算技术2016年8月16日凌晨1：41，备受瞩目的中国首颗量子科学实验卫星“墨子”在酒泉成功发射升空。中国发射全球首颗量子卫星，这不仅仅是中国迈出构建量子通信网络的第一步，也是一个非常好的用于做远距离纠缠分发和量子隐形传态的基础科学研究的平台，为探索自由空间量子通信技术打下良好的基础。 量子是什么？ 量子（quan...
2016-10-02 15:58:20
214
SQL on Hadoop技术分析（一）
2016-07-12 王森 hadoop技术学习 背景Hadoop的诞生是划时代的数据变革，但关系型数据库时代的存留也为Hadoop真正占领数据库领域埋下了许多的障碍。对SQL（尤其是PL/SQL）的支持一直是Hadoop大数据平台在替代旧数据时代亟待解决的问题。Hadoop对SQL数据库的支持度一直是企业用户最关心的诉求点之一，也是他们选择的Hadoop平台的重...
2016-07-28 13:18:34
182
基于元数据驱动的ETL
2016-07-03 朱洁 元数据的定义元数据（Metadata），为描述数据的数据（data about data），主要是描述数据属性（property）的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。 ETL的定义ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、...
2016-07-28 13:14:32
503
构想下一代优化器MBO:MachineLearning Based Optimizer
2016-06-10 朱洁 hadoop技术学习 熟悉ORACLE数据库的人，对RBO/CBO肯定很熟。 Rule Based Optimizer（RBO）基于规则Cost Based Optimizer（CBO）基于成本，或者讲统计信息 ORACLE 提供了CBO、RBO两种SQL优化器。CBO在ORACLE7 引入，但在ORACLE8i 中才成熟...
2016-06-18 18:17:07
287
spark 2.0主要特性预览
2016-05-29 朱洁 hadoop技术学习 spark 2.0相比老版本变化很大，已经发布了预览版本。原始的英文版databricks的博客：https://databricks.com/blog/2016/05/11/apache-spark-2-0-technical-preview-easier-faster-and-smarter.html 变...
2016-05-29 14:32:31
144
Go语言入门
2016-04-17 朱洁 hadoop技术学习最近准备学点新东西，聊聊Go语言入门。 Go是google 09年推出的编程语言，Go语言专门针对多处理器系统应用程序的编程进行了优化，使用Go编译的程序可以媲美C或C++代码的速度，而且更加安全、支持并行进程。 Go语言摘得了TIOBE公布的2009年年度大奖。该奖项授予在2009年市场份额增长最多的编程语...
2016-05-21 11:48:57
172
Apache Eagle:实时安全监控方案
原创 2016-03-27 朱洁 hadoop技术学习Eagle是eBay开源的一个分布式实时安全监控方案。通过离线训练模型集合实时流引擎监控，能立即监测出对敏感数据的访问或恶意的操作，并立即采取应对的措施。下图是Eagle的架构。 Eagle的数据行为监控方案可用于如下几类典型场景：监控Hadoop中的数据访问流量检测非法入侵和违反安...
2016-03-27 16:00:07
580
AWS Redshift安全策略解读
2016-03-19 朱洁 Redshift是aws一个mpp数据库，采用列式存储，性能做的还不错。今天不打算介绍Redshift本身，更多的信息，可以到aws到官网看看，https://aws.amazon.com/cn/redshift/?nc2=h_l3_al。 本文想分享下Redshift是怎么保证安全的，Redshift的安全措施主要有加密，vpc，审计...
2016-03-20 14:39:32
384
同态加密技术
2016-03-12 朱洁 hadoop技术学习最近领导安排研究下大数据的安全，计算机安全是个系统工程，分很多层面：1）硬件安全2）应用软件安全3）操作系统安全4）数据库系统安全5）网络安全技术 涉及到具体的技术又有1）密码技术2）计算机病毒&防范3）防火墙技术4）黑客的攻击和防范等等。 大数据技术除了传统的...
2016-03-13 19:57:27
1077
探讨微软的混合云
2016-03-06 朱洁 hadoop技术学习AWS坚持公有云，只给五角大楼提供过私有云方案，其他的客户只能使用公有云解决方案。同在西雅图的微软，选择了一条完全不同的道路，首先是结合自己在企业领域长期耕耘的优势，提供了更多的paas,saas服务，其次是重点推动混合云，希望通过不同的策略，来战胜aws。 客户选择混合云的理由会非常多，比如关键数据不能存放在公有...
2016-03-13 19:55:37
185
大数据三种典型云服务模式
2016-02-20 朱洁 hadoop技术学习大数据能力以云服务的形式提供出来非常普遍，国际大厂aws,azure，国内阿里，华为都有类似服务。今天讨论下大数据云服务的几种模式。 第一种，最典型的叫集群托管模式 最典型的服务就是aws的emr服务，可以访问：https://aws.amazon.com/cn/elasticmapreduce/。这种模式...
2016-02-20 17:25:19
1488
写给自己的2015
2016-01-07 朱洁 hadoop技术学习去年2015-1-2写了一篇文章《写给自己的2014》总结自己的一年。光阴似箭，日月如梭，一年又结束了，今天继续想简单纪念下自己的2015年，期待自己的2016。 2015年初定下的目标是：2015年我希望可以做到，一年内读1本英文原版书，50篇英文文章。回头看来，基本作到年初定目标。2015年，完整读完的一本英文书...
2016-01-17 11:46:58
176
归来的微软
2015-12-27 朱洁 hadoop技术学习 微软历史上一共3任ceo，很好的将微软分为3个时代。盖茨时代，微软是桌面时代的霸主，当时的微软如日中天，是一个赚钱机器，windows系列桌面占有率超过了90%，微软太成功，以至于被美国政府盯上，上世纪末、本世纪初，曾在其本土遭到了被称为史上最大规模的一场反垄断官司，微软差点被一分为二。进入鲍尔默时代，恰好是互联...
2016-01-02 10:02:31
171
大数据仓库－增量更新
2015-12-03 朱洁 hadoop技术学习现在是国内凌晨3点，为了抵挡睡意，还是写写技术博客。今天和大家讨论下大数据仓库中的更新技术。当前很多大数据技术，如HDFS最早设定的是数据不更新，只增量叠加。传统数据仓库（Greenplum,treadata,oracle RAC）通常碰到两个问题：1、更新的throughput不高。主要影响原因有两点，锁的原因，...
2015-12-19 09:55:25
482
大数据仓库－kudu
数据仓库里面存储引擎是非常重要的，存储引擎的好坏，基本决定了整个数仓的基础。 kudu目标cloudera公司最近发布了一个kudu存储引擎。按照cloudera的想法，kudu的出现是为了解决，hbase,parquet不能兼顾分析和更新的需求，所以需要一个新的存储引擎可以同时支持高吞吐的分析应用以及少量更新的应用。cloudera 的设计目标是：（http://bl...
2015-11-21 16:56:56
852
大数据数据仓库－场景
大数据仓库－场景 2015-10-24 朱洁 hadoop技术学习传统OLTP/OLAP之分数据仓库里面有OLTP/OLAP之分，OLTP是传统关系型数据库的主要应用，其主要面向基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。 大数据场景下的同与不同 1、大数据时代，...
2015-10-24 20:08:57
483
大数据数据仓库－概念
大数据数据仓库—概念 2015-10-18 朱洁 hadoop技术学习 大数据经过反复炒作之后，慢慢的降温下来。大家不再大谈几个v了，落地到企业会发现，大部分场景还是传统的数据仓库的替换。今天梳理下数据仓库的使用场景，以及需要的技术。 1，先谈下数据仓库准确的概念是什么？数据仓库 ，由数据仓库之父比尔·恩门（Bill Inmon）于1990年提...
2015-10-18 14:44:51
215
Cloud_Native是什么
Cloud_Native概念最近比较火，因此研究下到底讲的是什么含义。 Cloud_Native从概念上讲核心说的是传统的应用部署在数据中心上的架构不适合云化的环境，要充分利用云基础设施的可编程性和扩展性，又要规避云基础设施的不可靠，cloud_native核心改变是fit app to infra，而不是fit infra to app。 什么样的应用才算是...
2015-10-18 11:20:04
301
快速理解docker
技术源头简单的说Docker是一个构建在LXC之上的,基于进程容器(Processcontainer)的轻量级VM解决方案，Docker container和普通的虚拟机Image相比, 最大的区别是它并不包含操作系统内核。因此非常轻量。 普通虚拟机将整个操作系统运行在虚拟的硬件平台上, 进而提供完整的运行环境供应用程序运行, 而Docker则直接在宿主平台上加载运行应用程...
2015-08-15 16:03:17
131
初识微服务
微服务架构越来越火，有必要学习一下。软件开发过程中碰到什么问题一个简单的应用会随着时间推移逐渐变大。在每次的sprint中，开发团队都会面对新“故事”，然后开发许多新代码。几年后，这个小而简单的应用会变成了一个巨大的怪物。一旦你的应用变成一个又大又复杂的怪物，那开发团队肯定很痛苦。敏捷开发和部署举步维艰，其中最主要问题就是这个应用太复杂，以至于任何单个开发者都不可能搞懂它。因...
2015-08-09 12:14:02
133
智能调度：Stanford的Quasar
智能、自动化是对系统孜孜不倦的追求，尤其是在资源调度这块。传统的YARN/MESOS有各种资源分配算法，如DRF,capacity scheduler，fair scheduler。这些调度算法聚焦在资源的匹配和分配上面。其中最大的问题设计思路是基于预留的思路，要求应用提出资源的需求，而在现实中往往是不现实的。不现实在两个方面：job需要的资源和需要处理的数据量，过程的复杂度强相关。而...
2015-06-06 17:50:28
452
1
大数据服务上云的思考
最近看到亚马逊第一次单独公布AWS财报，一年营收57亿美元，市场份额占比第一。混合云市场，2014年，IBM以综合的IT能力，收入70亿夺魁。云计算喊了这么多年，不知不觉已经变成了几十亿美元的大生意。云计算时代真的来了！AWS的财报可以看看下面的图解：<!--[endif]-->今天不是来说AWS的，说说大数据怎么上云的一些思考：1、首先说说，大数据和云的关系，云是...
2015-05-02 18:07:38
240
机器学习introduce
2014-09-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人