- 博客(20)
- 收藏
- 关注
RSS订阅原创 携程实时用户数据采集与分析系统
本文由携程技术中心投递，ID：ctriptech。作者：王小波，携程技术中心框架研发部高级工程师，主要负责用户行为数据采集系统及相关数据产品研发设计工作。一、携程实时用户数据采集系统设计实践随着移动互联网的兴起，特别是近年来，智能手机、pad等移动设备凭借便捷、高效的特点风靡全球，同时各类APP的快速发展进一步降低了移动互联网的接入门槛，越来越多的网民开始从传统PC转移至移动终端上。但传统...
2017-05-31 10:40:27
15981
原创 Apache Kylin 深入Cube和查询优化
作者：李栋，Kyligence Inc技术合伙人兼高级软件架构师，Apache Kylin Committer & PMC Member，专注于大数据技术研发，KyBot技术负责人。毕业于上海交通大学计算机系；曾任eBay全球分析基础架构部高级工程师、微软云计算和企业产品部软件开发工程师；曾是微软商业产品Dynamics亚太团队核心成员，参与开发了新一代基于云端的ERP解决方案。近...
2017-05-26 17:29:13
4297
1
原创 在Apache Spark 2.0中使用 DataFrames 和 SQL
作者：马小龙（Dr. Christoph Schubert），浙江财经大学数据分析和大数据计算客座教授。2006年在德国不来梅大学获得数学博士学位后，在多特蒙德大学软件工程研究所从事研究和教学工作直到2011年来到中国。他的研究方向重点在大数据技术和NoSQL数据库以及功能规划和随机计算模型与模态逻辑。他还是国际大数据分析大会主席。 责编：郭芮，关注大数据领域，技术投稿、文章纠错请发...
2017-05-26 16:35:08
2061
原创 腾讯QQ社交网络的四度分离
作者：黄俊，腾讯QQ社交网络事业群数据挖掘工程师，主导或参与过社交关系链挖掘，LBS挖掘，推荐系统等多个项目。负责对千亿QQ社交关系链的计算、分析和挖掘工作，历经腾讯图计算从Hive到Spark的演变。 责编：郭芮，欢迎大数据领域技术投稿、约稿、给文章纠错，请发送邮件至[email protected]。 本文为《程序员》原创文章，未经允许不得转载，更多精彩文章请订阅《程序员》在社...
2017-05-22 09:39:41
1049
原创 【CCTC 2017】UCloud块存储研发部副总监彭晶鑫：重新定义云数据保护
【CSDN现场报道】2017年5月18-19日，CSDN主办的中国云计算技术大会（CCTC）在北京朝阳门悠唐皇冠假日酒店盛装启航。本次会议践行“云先行，智未来”的主题，在Keynote环节之外精心策划了微服务、人工智能、云核心三大论坛及Spark、Container、区块链、大数据四大技术峰会，众多技术社区骨干、典型行业案例代表齐聚京师，解读本年度国内外云计算技术发展最新趋势，深度剖析云计算与大数...
2017-05-18 16:44:41
400
原创 【CCTC 2017】普元CTO焦烈焱：人工智能背景下软件架构的演进
【CSDN现场报道】2017年5月18-19日，CSDN主办的中国云计算技术大会（CCTC）在北京朝阳门悠唐皇冠假日酒店盛装启航。本次会议践行“云先行，智未来”的主题，在Keynote环节之外精心策划了微服务、人工智能、云核心三大论坛及Spark、Container、区块链、大数据四大技术峰会，众多技术社区骨干、典型行业案例代表齐聚京师，解读本年度国内外云计算技术发展最新趋势，深度剖析云计算与大数...
2017-05-18 12:20:48
689
原创 【CCTC 2017】CSDN、极客帮创投、AI100创始人蒋涛：新的人工智能时代，AI First！...
【CSDN现场报道】2017年5月18-19日，CSDN主办的中国云计算技术大会（CCTC）在北京朝阳门悠唐皇冠假日酒店盛装启航。本次会议践行“云先行，智未来”的主题，在Keynote环节之外精心策划了微服务、人工智能、云核心三大论坛及Spark、Container、区块链、大数据四大技术峰会，众多技术社区骨干、典型行业案例代表齐聚京师，解读本年度国内外云计算技术发展最新趋势，深度剖析云计算与大数...
2017-05-18 11:11:00
812
原创 倒计时1天｜CCTC 2017最全参会指南
2017中国云计算技术大会（CCTC 2017）将于5月18-19日在北京朝阳门悠唐皇冠假日酒店正式拉开帷幕，随着大会最终议程及特色活动的不断丰富，开发者们对大会的关注和参与热情迅速升温，近一周来门票申请异常火爆。但因场地限制，大会官网已于5月16日中午12:30关闭首日门票的免费申请通道，请各位开发者朋友谅解。目前，大会两天通票限量发售，有需要的网友，请您点击此处完成购票。请您务必在此前完成流程...
2017-05-17 17:32:48
1021
原创 勒索病毒泛滥全球 数据方舟拯救业务
5月12日起，不法分子利用之前泄露的NSA黑客武器库中“永恒之蓝”攻击程序发起的网络攻击事件，全球范围内接二连三爆发基于Windows网络共享协议进行攻击传播的蠕虫恶意代码，危害极其严重，波及近百个国家。多个中招的机构被勒索支付高额赎金才可解密恢复文件，对重要数据造成严重损失。各家云计算厂商纷纷发出安全通知，指导如何进行修复以及建议日常安全检查。但百密难免一疏，如果仍是不幸意外中招，那怎么办？难道...
2017-05-15 11:08:50
454
原创 大数据环境下该如何优雅地设计数据分层
最近出现了好几次同样的对话场景： 问：你是做什么的？ 答：最近在搞数据仓库。 问：哦，你是传统行业的吧，我是搞大数据的。 答：……发个牢骚，搞大数据的也得建设数据仓库吧。而且不管是传统行业还是现在的互联网公司，都需要对数据仓库有一定的重视，而不是谈一句自己是搞大数据的就很厉害了。数据仓库更多代表的是一种对数据的管理和使用的方式，它是一整套包括了etl、调度、建模在内的完整的理论体系。现在所...
2017-05-15 09:49:32
1656
原创 深度学习时代的计算机视觉
人工智能，作为计算机科学的一个分支。从1956年夏季麦卡赛、明斯基、罗切斯特和申农等一批有远见卓识的年轻科学家首次提出，到2006年机器学习泰斗Geoffrey Hinton和他的学生RuslanSalakhutdinov在《科学》上发表了一篇开启深度学习在学术界和工业界浪潮的文章，50多年时间，无数科学家提出了很多机器学习的算法，试图让计算机具备与人一样的智力水平，但直到2006年深度学习算法的...
2017-05-12 15:59:22
1328
原创 笔耕不缀，学无止境｜报名参加CCTC的八大理由
“云先行，智未来”，5月18-19日，CSDN主办的中国云计算技术大会（CCTC）即将在北京朝阳门悠唐皇冠假日酒店盛装启航。每年的CCTC都是技术开发者的一次盛宴，尤其在企业上云的驱使下，越来越多的开发者从事云技术领域的开发和运维。本次峰会将立足开发者切实所需，为与会者带来最前沿的技术干货和最具代表性的案例分享。距离CCTC 2017开幕还有七天时间，目前豪华嘉宾阵容已全部就位，届时来自国内外的S...
2017-05-11 08:43:05
601
原创 招募｜Apache Flink文档翻译志愿者Look Here！
Apache Flink是一款分布式、高性能的开源流式处理框架，在2015年1月12日，Apache Flink正式成为Apache顶级项目。目前Flink在阿里巴巴、Bouygues Teleccom、Capital One等公司得到应用，如阿里巴巴对Apache Flink的应用案例。为了更好地让大家了解和使用Apache Flink，我们特地发起Apache Flink官方文档中文翻译计划，...
2017-05-09 10:18:20
218
原创 获得与回馈丨点评中国两大金融机构基于OpenStack的网络联合实践
OpenStack在金融领域的实践一直是被广大用户所关注的话题。从2014年亚特兰大峰会上美国富国银行（Wells Fargo），巴黎峰会上西班牙毕尔巴鄂比斯开银行（BBVA），再到2015年温哥华峰会上加拿大道明银行（TD Bank），每一次OpenStack 峰会上金融行业的用户实践分享，都会成为用户瞩目的焦点。金融行业对云平台的可用性、安全性和适配性上，都比其它行业有更高的标准，因此在金融行...
2017-05-05 11:23:26
211
原创 仅为代码实际运行资源付费 解构国内首个函数计算
4月26日，在云栖大会・南京峰会上，阿里云宣布函数计算（Function Compute）启动邀测。这是国内首个事件驱动的无服务器计算平台。用户按需调用、按需付费，无需管理服务器等基础设施，特别适用于应用场景中有明显波峰波谷的企业。通过函数计算，用户无需再管理服务器等基础设施，只需编写代码并上传。函数计算会为用户准备好计算资源，以弹性、可靠的方式运行代码，并提供日志查询，性能监控，报警等功能。借助...
2017-05-04 16:28:51
289
原创 Spark Committer、CarbonData PMC等七位资深大咖齐聚CCTC，Spark议题正式发布
5月18-19日，北京 • 朝阳门悠唐皇冠假日酒店，CSDN主办的中国云计算技术大会将围绕最热门、最前沿的云计算技术与行业实践重磅登场。本次大会上，超过50位Spark、Docker、Mesos、TensorFlow、Serverless方面的专家将汇聚一堂，和超过2000名开发者共襄盛举。在19日的Spark技术峰会上，来自Databricks、阿里巴巴、华为、苏宁、新浪微博、七牛、宜人贷等七位...
2017-05-04 09:37:30
942
原创 TiDB，为SQL注入分布式可扩展性
时下，一大批新型数据库急剧涌现，诸如Google Spanner、FaunaDB、Cockroach以及TimeScaleDB等等，这些数据库都在专注解决影响标准SQL的规模问题。现在，另一位来自中国北京的竞争者——PingCAP开源的TiDB项目，旨在维持ACID事务的同时，使SQL也具备NoSQL系统的可伸缩性。PingCAP联合创始人兼首席执行官刘奇表示，该项目全面支持MySQL协议，也就意...
2017-05-03 17:01:47
582
原创 Spark Block存储管理分析
Apache Spark中，对Block的查询、存储管理，是通过唯一的Block ID来进行区分的。所以，了解Block ID的生成规则，能够帮助我们了解Block查询、存储过程中是如何定位Block以及如何处理互斥存储/读取同一个Block的。可以想到，同一个Spark Application，以及多个运行的Application之间，对应的Block都具有唯一的ID，通过代码可以看到，Bloc...
2017-05-03 09:42:01
1407
原创 Spark 2.1.1发布，建议所有 2.1.x 用户升级
今天凌晨Spark 2.1.1对外发布，该版本是基于branch-2.1的维护版本，建议所有Spark 2.1.x用户升级到该版本。据统计，相比于Spark 2.1.0，该版本：修复了179个bug；加入了33个改进；增加了4个新特性。具体描述请参考： https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=123...
2017-05-03 09:06:29
395
原创 大规模知识图谱数据存储实战解析
本文转自公众号PlantData知识图谱实战（ID：KGPlantData），本文摘录自上海海翼知信息科技有限公司胡芳槐博士4月14日在北京理工大学分享的《大规模知识图谱数据存储》PPT。作者对知识图谱的存储进行了全面的介绍，内容包括：什么是知识图谱，知识图谱的适用场景，知识图谱数据存储的几种常见方式和最佳方案，知识图谱中的时态信息及其存储实现，结合实例说明如何利用图数据库进行数据存储。1...
2017-05-02 11:42:18
10813
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人