云栖社区开源大数据周刊
文章平均质量分 73
阿里云E-MapReduce团队出品,每周汇聚开源大数据最新技术资讯、阿里云开源大数据技术解读。
aliyun32183
这个作者很懒,什么都没留下…
展开
-
开源大数据周刊-第1期
摘要: 即日起,E-Mapreduce提供包年包月服务(比按需便宜约60%),用户可通过引导操作自定义安装软件、自定义配置,同时还能创建使用Hbase集群,通过open-API进行创建集群、提交作业等各种操作。阿里云E-Mapreduce动态阿里云E-Mapreduce 1.3版本发布E-Mapreduce提供包年包月服务(比按需便宜约60%)用户可通过引导操作自定义安装软原创 2018-02-07 17:08:22 · 292 阅读 · 0 评论 -
开源大数据周刊-第2期
摘要: 第二期准备了一些本周好的大数据技术的文章;列了近期一些大数据会议;业务方面还是大数据+各种各样的点,没有过多的列出;大数据融资领域还是融资不断;E-Mapreduce团队计划下周发布VPC方案,敬请期待;Aliyun-emapreduce-demo发布在github上,敬请关注。阿里云E-Mapreduce动态E-Mapreduce团队计划下周发布VPC方案,敬请期待。原创 2018-02-07 17:06:59 · 333 阅读 · 0 评论 -
开源大数据周刊-第3期
摘要: 赫拉利:数据崇拜将无边无际,Apache Apex成为顶级项目。阿里云E-Mapreduce动态E-Mapreduce团队发布VPC方案,可以帮助用户构建出一个隔离的网络环境,此外您也可以通过专线/ VPN 等连接方式将 VPC 与传 统数据中心组成一个按需定制的网络环境,实现大数据混合云架构,大数据可以先上云。Aliyun-emapreduce-demo已经发布到gi原创 2018-02-07 16:59:15 · 240 阅读 · 0 评论 -
开源大数据周刊-第13期
摘要: 本周周刊内容有:2016年6月份的hadoop Summit的见闻,数据可视化的理论实践,spark的一些精彩文章的推荐。阿里云E-Mapreduce动态E-Mapreduce团队1.3.4版本 (已经发布)升级jdk到1.8升级Hadoop到2.7.2添加python2.7.1及python3.4版本添加numpy库支持Presto、phoenix、jstor原创 2018-02-06 15:24:46 · 217 阅读 · 0 评论 -
开源大数据周刊-第12期
摘要: 本周包括 全景洞察大数据全貌、数据分析师的职业规划、打造智能聊天机器人、E-Mapreduce的相关实践及动态、最近值得关注的大数据会议。阿里云E-Mapreduce动态E-Mapreduce团队1.3.4版本 (已经发布)升级jdk到1.8升级Hadoop到2.7.2添加python2.7.1及python3.4版本添加numpy库支持Presto、phoen原创 2018-02-06 15:25:54 · 218 阅读 · 0 评论 -
开源大数据周刊-第11期
摘要: 开源有四个阶段:拥抱开源、回馈开源、融合开源、回报开源阿里云E-Mapreduce动态E-Mapreduce团队1.3.3版本 (已经发布)商业化发布,用户无需申请即可使用E-MapReduce服务1.3.4版本 (正在研发)升级jdk到1.8升级Hadoop到2.7.2添加python2.7.1及python3.4版本添加numpy库支持Prest原创 2018-02-06 15:27:02 · 234 阅读 · 0 评论 -
开源大数据周刊-第10期
摘要: 云上Hadoop之最佳实践阿里云E-Mapreduce动态E-Mapreduce团队 1.3.2版本(已经发布):Master HA功能1.3.3版本 (已经发布)商业化发布,用户无需申请即可使用E-MapReduce服务1.3.4版本 (正在研发)升级jdk到1.8升级Hadoop到2.7.2添加python2.7.1及python3.原创 2018-02-06 15:28:14 · 229 阅读 · 0 评论 -
开源大数据周刊-第9期
摘要: 云上Hadoop之挑战阿里云E-Mapreduce动态E-Mapreduce团队 1.3.2版本(已经发布):Master HA功能1.3.3版本 (即将发布)商业化1.4版本(正在研发):用户执行计划及集群运行状态自定义报警集群整体运行情况的仪表盘集群的一些专家建议,例如:扩容提醒集群一键重启资讯菜鸟“闹”江湖:物流+大数据原创 2018-02-06 15:29:25 · 247 阅读 · 0 评论 -
开源大数据周刊-第8期
摘要: 阿里云李津谈布局专有云的深层用意,2016年杭州第四次spark meetup见闻阿里云E-Mapreduce动态E-Mapreduce团队 1.3.2版本(已经发布):Master HA功能1.4版本(正在研发):用户执行计划及集群运行状态自定义报警集群整体运行情况的仪表盘集群的一些专家建议,例如:扩容提醒集群一键重启资讯阿里云李津原创 2018-02-06 15:30:38 · 359 阅读 · 0 评论 -
开源大数据周刊-第6期
摘要: 大数据的未来就像在沙子里淘金阿里云E-Mapreduce动态E-Mapreduce团队 正在研发1.3.2版本及1.4版本,主要包括:Master HA功能用户执行计划及集群运行状态自定义报警集群整体运行情况的仪表盘集群的一些专家建议,例如:扩容提醒集群一键重启资讯腾讯前副总裁、Google科学家吴军:大数据的未来就像在沙子里淘金大数据就像在一堆原创 2018-02-06 15:32:58 · 258 阅读 · 0 评论 -
开源大数据周刊-第5期
摘要: 浅谈大数据在传统行业的落地之痛,Spark如何简化大数据工作阿里云E-Mapreduce动态E-Mapreduce团队增加zepplin和hue等交互式处理软件,用户可以直接写SQL甚至写python、scala代码交互式执行,查看运行结果。资讯浅谈大数据在传统行业的落地之痛目前的大数据热潮会让人很自然地联想到18年前互联网兴起时汹涌的潮水与泡沫,联原创 2018-02-06 15:34:09 · 343 阅读 · 0 评论 -
开源大数据周刊-第4期
摘要: E-Mapreduce支持VPC,发布教学视频,Apache Spark在SnappyData支持即时SQL分析阿里云E-Mapreduce动态E-Mapreduce团队 发布了1.3.1版本,修复若干BUGE-Mapreduce团队 发布了VPC方案,可以帮助用户构建出一个隔离的网络环境,此外您也可以通过专线/ VPN 等连接方式将 VPC 与传 统数据中心组成一原创 2018-02-06 15:35:37 · 256 阅读 · 0 评论 -
开源大数据周刊-第23期
摘要: 本周关注:怎么成为数据极客,创业公司啥时候关注大数据,hive2.0新特性,Hadoop怎么做增量处理,形象的比喻大数据的技术生态,E-MapRedcue产品技术培训阿里云E-Mapreduce动态E-Mapreduce团队1.5.0版本(已经发布)emr控制台增加可概览页面emr控制台增加用户查看集群进程状态功能presto组件默认支持oss上线美西和新加坡r原创 2018-02-05 10:14:53 · 226 阅读 · 0 评论 -
开源大数据周刊-第22期
摘要: 本周关注:大数据部门、数据科学家、机器学习发展与机遇、spark2.0 Structured Streaming、Hbase运维、Sqoop、Flink的第一本书籍。阿里云E-Mapreduce动态E-Mapreduce团队1.5.0版本(正在研发)增加集群整体运行情况的仪表盘访问OSS不需要写id、key,增强安全性集群其中后,可以重启、修改配置及安装软件原创 2018-02-05 10:18:11 · 211 阅读 · 0 评论 -
开源大数据周刊-第21期
摘要: 本周关注:大数据教育、翻译行业应用,大数据与管理的关系、hadoop与mpp的关系、Facebook 60T+的spark应用阿里云E-Mapreduce动态E-Mapreduce团队1.5.0版本(正在研发)增加集群整体运行情况的仪表盘访问OSS不需要写id、key,增强安全性集群其中后,可以重启、修改配置及安装软件1.6.0版本交互式查询(支持h原创 2018-02-05 10:19:23 · 188 阅读 · 0 评论 -
开源大数据周刊-第20期
摘要: 关注:对话Hadoop之父、E-MapReduce助力数据仓库建设、携程基于Hadoop大数据实践、一号店基于Hadoop的推荐系统、Hive性能优化阿里云E-Mapreduce动态E-Mapreduce团队1.5.0版本(正在研发)增加集群整体运行情况的仪表盘访问OSS不需要写id、key,增强安全性集群其中后,可以重启、修改配置及安装软件1.6.0版本原创 2018-02-05 10:20:55 · 178 阅读 · 0 评论 -
开源大数据周刊-第19期
摘要: 本周关注:马云谈云计算、大数据、人工智能未来三十年,E-MapReduce存储计算分离,真实的大数据故事,spark session及spark mmlib、presto+oss阿里云E-Mapreduce动态E-Mapreduce团队1.5.0版本(正在研发)增加集群整体运行情况的仪表盘访问OSS不需要写id、key,增强安全性集群其中后,可以重启、修改配置及原创 2018-02-05 10:22:29 · 230 阅读 · 0 评论 -
开源大数据周刊-第18期
摘要: 本周关注:Hadoop集群的规划、大数据的‘位置数据’、电商Hadoop实战、Alluxio及Hadoop、spark、hive之间的关系。阿里云E-Mapreduce动态E-Mapreduce团队1.4.1版本(已经发布)完善失败报警完善定时任务,增加小时、分钟定时任务1.5.0版本 (正在研发)集群整体运行情况的仪表盘集群状态监控报警1.6.原创 2018-02-05 10:24:25 · 305 阅读 · 0 评论 -
开源大数据周刊-第17期
摘要: 本周关注:大数据投资、大数据数据官,数据科学,Structured Streaming、提高25倍性能的hive阿里云E-Mapreduce动态E-Mapreduce团队1.4版本(已经发布)作业运行失败报警作业并行提交添加sqoop、shell类型的作业1.4.1版本(已经发布)完善失败报警完善定时任务,增加小时、分钟定时任务1.5.0版本 (原创 2018-02-05 10:26:06 · 166 阅读 · 0 评论 -
开源大数据周刊-第16期
摘要: spark2.0已经发布,本期整理了一些spark的好文(包括最佳实践、原理等)推荐给大家。阿里云E-Mapreduce动态E-Mapreduce团队1.4版本(已经发布)作业运行失败报警作业并行提交添加sqoop、shell类型的作业1.4.1版本(正在研发)完善失败报警完善定时任务,增加小时、分钟定时任务1.5.0版本 (正在研发)集原创 2018-02-05 10:28:24 · 212 阅读 · 0 评论 -
开源大数据周刊-第15期
摘要: 最近大数据的一些论断,如:中国大数据发展10大趋势5大挑战,数据在工业的崛起将重塑整个商业社会,涂子沛:都说收集数据很难,也许是思维错了。阿里云E-Mapreduce动态E-Mapreduce团队1.4版本(已经发布)作业运行失败报警作业并行提交添加sqoop、shell类型的作业1.4.1版本(正在研发)完善失败报警完善定时任务,增加小时、分钟定时原创 2018-02-05 10:30:03 · 213 阅读 · 0 评论 -
开源大数据周刊-第14期
摘要: 大数据人才状况;大数据平台相关:数据采集、数据指标的量化、大数据平台建设的选型;性能优化相关:hive、hbase、jvm gc的优化;阿里云E-Mapreduce动态E-Mapreduce团队1.4版本(正在发布):作业运行失败报警作业并行提交添加sqoop、shell类型的作业1.4.1版本集群整体运行情况的仪表盘集群状态监控报警资讯原创 2018-02-05 10:34:41 · 405 阅读 · 0 评论 -
开源大数据周刊-第34期
摘要: 阿里云E-MapReduce实践 使用E-MapReduce服务处理阿里云文件存储(NAS)的数据 文件存储是阿里云今年新推出的存储服务,因为它提供标准的文件访问协议,用户无需对现有应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布式文件系统阿里云E-MapReduce实践使用E-MapReduce服务处理阿里云文件存储(N原创 2018-02-02 17:37:16 · 183 阅读 · 0 评论 -
开源大数据周刊-第33期
摘要: 阿里云E-MapReduce实践 使用E-MapReduce服务将Kafka数据导入OSSkafka是一个开源社区常用的消息队列,对阿里云文件存储系统OSS没有官方的支持。本文通过一个例子,实现了kafka的数据写入阿里云OSS。阿里云E-MapReduce实践使用E-MapReduce服务将Kafka数据导入OSSkafka是一个开源社区常用的消息队列,对阿里云文原创 2018-02-02 17:38:37 · 239 阅读 · 0 评论 -
开源大数据周刊-第32期
摘要: 阿里云E-MapReduce环境介绍;阿里巴巴向。Apache软件基金会捐赠消息中间件RocketMQ; Spark, HBase, Hadoop技术分享。阿里云E-MapReduce实践E-MapReduce 集群环境小记大家在使用E-MapReduce的时候,都想对E-MapReduce的集群环境细节有些了解。这里根据实践,总结一下E-MapReduce集群环境原创 2018-02-02 17:39:54 · 225 阅读 · 0 评论 -
开源大数据周刊-第30期
摘要: 开源大数据周刊-第30期:阿里云E-MapReduce上的案例分享;重磅新闻,阿里云在CloudSort上夺冠;Beam,Flink,KV技术分享。阿里云E-MapReduce实践泰为在E-MapReduce上的考量与实践阿里云EMR是基于 Hadoop 的生态环境来搭建,同时可以跟阿里云的对象存储服务OSS等云服务进行无缝数据交换,方便用户将数据在存储平台和计算平原创 2018-02-02 17:41:12 · 204 阅读 · 0 评论 -
开源大数据周刊-第29期
摘要: 阿里云E-Mapreduce动态 E-Mapreduce产品即将发布的版本信息如下: 1.5.2版本 增加预定制配置,如试用型/入门型/计算型/内存型等 增加包年包月自动续费功能 1.6.0版本 交互式查询(支持Hive、Spark)资讯 CIO时代学院院长姚乐:大数据的行业应用策略 关于大数据的发展,CIO时代学院院长姚乐认为有三个趋势值得我们关注:第一、数据资源鉴权问题;第二、与云计算原创 2018-02-02 17:42:30 · 186 阅读 · 0 评论 -
开源大数据周刊-第28期
摘要: 大数据在医疗行业应用,Hive/ElasticSearch新版本特性,Spark欧洲峰会阿里云E-Mapreduce动态E-Mapreduce产品即将发布的版本信息如下:1.5.2版本增加预定制配置,如试用型/入门配置/高计算配置/高存储配置等1.6.0版本交互式查询(支持Hive、Spark)资讯干货报告丨医疗大数据的行业应用研原创 2018-02-02 17:43:52 · 213 阅读 · 0 评论 -
开源大数据周刊-第27期
摘要: 大数据技术和产业发展趋势,机器学习神经网络的内部结构,奇虎360的日志收集实践,Spark在医疗行业的应用一例。阿里云E-Mapreduce动态E-Mapreduce产品即将发布的版本信息如下:1.6.0版本交互式查询(支持Hive、Spark)资讯大数据有多火:盘点54家,A轮占比27.8%,增速41.1% ,北京占比57.4%本文重点汇总原创 2018-02-02 17:45:04 · 177 阅读 · 0 评论 -
开源大数据周刊-第26期
摘要: 云栖社区开源大数据专题回顾、后Hadoop时代圆桌讨论、Hadoop上云的冰与火、Flink的未来、城市大脑、大数据时代几个关键问题剖析阿里云E-Mapreduce动态E-Mapreduce团队1.6.0版本交互式查询(支持hive、spark)资讯开源大数据技术专场(上午):Spark、HBase、JStorm应用与实践阿里在09年就开始尝原创 2018-02-02 17:46:16 · 224 阅读 · 0 评论 -
开源大数据周刊-第25期
摘要: 云栖大会开源大数据分享、空间大数据、银行大数据、Hbase迁移到EMR、机器学习python、R及TensorFlow深度学习阿里云E-Mapreduce动态E-Mapreduce团队1.6.0版本交互式查询(支持hive、spark)资讯阿里、Databricks、Intel的十位专家和你细聊Hadoop技术实践及生态2016年10月16日原创 2018-02-02 17:47:24 · 209 阅读 · 0 评论 -
开源大数据周刊-第24期
摘要: 本周关注:意图搜索、hadoop3.0、大数据架构BI、大数据农业应用阿里云E-Mapreduce动态E-Mapreduce团队1.5.0版本(已经发布)emr控制台增加可概览页面emr控制台增加用户查看集群进程状态功能presto组件默认支持oss上线美西和新加坡regionhive默认支持tez作业参数中不用再填写复杂的oss ak参数,作业中实现自动获取用原创 2018-02-02 17:48:30 · 192 阅读 · 0 评论 -
开源大数据周刊-第44期
摘要: 阿里云E-MapReduce实践 E-MapReduce的HBase集群间迁移 E-MapReduce提供HBase服务,本文介绍了几种HBase集群间迁移的方法。 E-MapReduce中Spark 2.x读写MaxCompute数据 最新的aliyun-emapreduce-sdk将MaxCompute数据以DataSource的方式接入Spark 2.x,用户可以使用类似Spark原创 2018-01-31 15:43:45 · 191 阅读 · 0 评论 -
开源大数据周刊-第43期
摘要: 阿里云E-MapReduce动态 E-MapReduce发布新版本,可以在控制台管理meta表结构。 资讯 人脸识别,要靠哪些技术支撑,是否会泄露个人隐私? 本文介绍人脸识别用到哪些技术,讨论如何保护用户隐私 一图看懂AI阵营:学习AI 站错队可导致自取灭亡 本文介绍现在AI技术阵营,对AI各流派进行细分,梳理了17种方法,并用 图直观展现。阿里云E-MapReduce动态原创 2018-01-31 15:47:52 · 188 阅读 · 0 评论 -
开源大数据周刊-第42期
摘要: 阿里云E-MapReduce动态 阿里云HBase支持PB级别的分布式数据库即将开始公测 资讯 云时代的大数据存储-云HBase 纵观数据库发展的几十年,从网状数据库、层次数据库到RDBMS数据库,在最近几年的NewSQL的兴起,加上开源的运动,再加上云的特性,可以说是日新月异。阿里云E-MapReduce动态阿里云HBase支持PB级别的分布式数据库即将开始公测原创 2018-01-31 16:25:13 · 176 阅读 · 0 评论 -
开源大数据周刊-第40期
摘要: 阿里云HBase支持PB级别的分布式数据库即将开始公测阿里云E-MapReduce动态阿里云HBase支持PB级别的分布式数据库即将开始公测资讯360大数据中心副总经理傅志华:2017年大数据发展的十大趋势2016年,大数据已从前两年的预期膨胀阶段、炒作阶段转入理性发展阶段、落地应用阶段。2017年,大数据依然处于理性发展期,依然存在诸多挑战,但前景原创 2018-01-31 16:27:48 · 313 阅读 · 0 评论 -
开源大数据周刊-第39期
摘要: 阿里云E-Mapreduce动态 E-MapReduce 3.0.0镜像版本(已发布) 支持Spark 2.0+版本 支持提供统一的Hive外部Meta数据 HBase 支持PB级别的分布式数据库年后开始公测 E-MapReduce 全体成员祝大家 新年快乐! 资讯 Hadoop黑客赎金事件解读及防范年关将至,Mongodb数据丢失的事情还在眼前,数以千计的Mongodb数据库已经被删除或原创 2018-01-31 16:29:15 · 216 阅读 · 0 评论 -
开源大数据周刊-第38期
摘要: 本期关注:梨视频基于阿里云E-MapReduce搭建视频推荐系统的实践,Apache Eagle成为新的顶级项目,英特尔开源的分布式深度学习库BigDL,Hadoop 3.0新功能测评阿里云E-Mapreduce动态E-MapReduce 2.3.1镜像版本(已发布)基础镜像CentOS 6.5内核版本升级到2.6.32-642支持Hadoop YARN J原创 2018-01-31 16:30:40 · 159 阅读 · 0 评论 -
开源大数据周刊-第37期
摘要: [阿里云E-MapReduce动态] E-MapReduce 2.3.1镜像主版本发布基础镜像CentOS 6.5内核版本升级到2.6.32-642;并支持job failover 资讯 2017年数据领域的八大发展趋势 在2017年数据社区将会有大量的机会出现,并伴随一些危机性的挑战,阿里云E-MapReduce动态E-MapReduce 2.3.1镜像主版本发布基础原创 2018-01-31 16:31:43 · 197 阅读 · 0 评论 -
开源大数据周刊-第36期
摘要: 阿里云E-MapReduce1.6.0版本上线,增加交互式工作台、支持独享机型; 国际站上线,海外用户可以购买E-MapReduce服务[阿里云E-MapReduce动态]1.6.0版本上线,增加交互式工作台、支持独享机型国际站上线,海外用户可以购买E-MapReduce服务资讯看行业观察家和技术专家对大数据在2017年的发展预测业界权威市场原创 2018-01-31 16:32:51 · 195 阅读 · 0 评论