字节跳动大数据中心17万服务器硬实力支撑今日头条等产品线(公号回复“字节跳动”下载PDF典型资料,欢迎转发、赞赏支持科普)

字节跳动大数据中心17万服务器硬实力支撑今日头条等产品线(公号回复“字节跳动”下载PDF典型资料,欢迎转发、赞赏支持科普)

原创: 秦陇纪 科学Sciences 昨天

科学Sciences导读:北京字节跳动有限公司大数据中心17万台服务器的硬实力,支撑起今日头条、抖音、西瓜视频、火山小视频、悟空问答等流行社交媒体产品线,疯狂传播、吸粉吸金、快速崛起。同时代的传统媒体,诸如报纸、杂志、图书,仍然在靠稿费、卖纸媒和灰色收入,自娱自乐、醉生梦死、苟延残喘。这些只会采编、审稿、编辑、排版、把关、发行、拉广告的文字行业,将是以数字媒体、精准画像、推荐系统、进准广告、自然语言处理、弱人工智能为代表的大数据、人工智能信息产业革命对象。本资料B部分是北京字节跳动公司简介。

如果全家人终身为吃住行等生存事物,而疲于奔命、闲不下来、无法积累资源的时候,谁还能一门心思做创新科研?中国千年以来,总是成功地让90%以上百姓止步于生存,而剩下10%里鲜有推动人类文明发展的,掌握权钱者只图一己之乐,毫无自然社会担当。国人只有饿死时才会奋起,平时头脑肤浅(惯于文化说教、懒于深思实践)。希望伟大祖国尽快尊重每个人,激发人性活力,迈向科技、文明、创新国家,而不是永无止境地,通过房子、学校、医疗、出行,把平民压制到生存档次。欢迎留言探讨科学、技术、产品、工程、方案、应用。

字节跳动大数据中心17万服务器硬实力支撑今日头条等产品线(12459字)

目录

A字节跳动公司大数据中心17万台服务器支撑起今日头条等产品(4639字)

一、技术驱动用7月交付数据中心

二、数据驱动基础设施技术创新

三、2022冬奥会今日头条数据中心入住网宿子公司数据中心

四、库克参观字节跳动CEO张一鸣亲自接待

B北京字节跳动公司简介(7287字)

1 公司介绍工商信息

2 发展历程

3 公司荣誉及事件

4 创始人简介

参考文献(3834字)

Appx.数据简化DataSimp社区简介(835字)


A字节跳动公司大数据中心17万台服务器支撑起今日头条等产品(4639)

走进头条数据中心:高速扩张背后的“硬”实力

文|秦陇纪,科学Sciences20181019Fri

北京字节跳动有限公司旗下,除了最为人所熟知的两款产品“今日头条”和“抖音”,还包括“西瓜视频”、“火山小视频”以及“悟空问答”等其他产品线。

今年火爆起来的“抖音”App成为人们打发时间的首选。“刷抖音”时髦使得字节跳动取得令人惊艳的成绩:抖音8月日均视频播放量超过10亿次,日均活跃用户数超过1.5亿,月度活跃用户数超过5亿。视频上传存储并做合规性检查;视频播放编解码消耗大量计算资源;用户体验相关推荐系统与CDN……等等,这些都对抖音背后的技术支撑能力提出前所未有的挑战。

数据显示,字节跳动2017年初只有2~3万台服务器,而今年服务器数量一下猛增到17万台。这使得其原有数据中心租赁模式彻底不可行,必须自建数据中心,且速度要快。仅7个月时间,字节跳动就在怀来拥有了第一个属于自己的数据中心,一系列新技术的采用让这个数据中心拥有多项头衔:国内首个大规模分布式全预制、国内首个大平层预制框架结构、国内首个整体电源模块预制、国内首个间接蒸发自然冷却模块、国内首个计算模块一体化预制。这个目前国内用时最短而构建起来的数据中心,揭开字节跳动迅猛发展背后的秘密。

图1 头条数据中心内部场景

一、技术驱动用7月交付数据中心

字节跳动首个已交付使用数据中心坐落在怀来官厅湖新媒体产业园。怀来是新能源输出大县,70%以上的电能都是水力发电、风能发电和太阳能发电产生的清洁能源,但这之中有50%的清洁能源无法上网,低廉的电价对于数据中心这种耗电大户而言,具有莫大的吸引力。

怀来年均气温只有6.5度,空气质量也好,利用新风散热有助于降低数据中心的PUE值,有效降低数据中心的运营成本。高效应用自然冷却技术,也是官厅湖新媒体产业基地的一大特点,也是首个规模使用间接新风制冷技术的数据中心产业基地。

图2 字节跳动首个已经交付使用的数据中心一期工程,5万台服务器已经入驻

字节跳动首个数据中心最初规划9个月内完成,但得益于新媒体产业基地采用大平层预制建筑结构整体规划,再加上为了追求快速建设以满足字节跳动服务器规模高速增长需求,字节跳动采用了一系列新锐技术,如大规模分布式全预制、整体电源模块预制、间接蒸发自然冷却模块、计算模块一体化预制等等技术,让一期数据中心在7个月内就完成交付使用。

字节跳动数据中心采用大量预制和模块化产品,体现了数据中心高度模块化的未来发展趋势。钢平台底座、变压器、配电柜、UPS设备均采用在原厂设计、安装和调试在20天内分批交付,二次系统连接、监控系统集成和电源模块测试可以在7天内完成,由40尺集装箱整体运输到现场,施工现场只需连接电缆,拼装调试即可交付使用,这个过程需要十天左右。这一系列的细节时间控制,让字节跳动数据中心刷新了国内数据中心建设交付的最短时间记录。

据字节跳动技术总监王剑介绍,2017年12月字节跳动开始在怀来数据中心放置服务器,目前一期园区约5万台服务器已经投入使用,正在紧邻一期园区建设二期,规模增加一半但预计工期相同,大概能容纳9万台服务器。

图4 字节跳动预制件与模块化建设数据中心示意图

二、数据驱动基础设施技术创新

多数人对“今日头条”的印象是家泛媒体平台,但字节跳动认为自己是家AI(人工智能)公司,因为不管是今日头条也好,抖音也好,字节跳动很少自己生产内容,而是鼓励用户进行创作,并把用户创作的内容推荐给最适宜的用户群体。

所以字节跳动最核心的系统实际包括头条推荐系统与广告系统、评论系统,以及内容合规性审核系统,这背后实际上就是AI技术在不同领域或场景的应用。

比如推荐系统里最核心的内容推荐算法。用AI去做推荐,是字节跳动重要战略,目前也是应用最广的技术,不管是今日头条还是抖音等产品,AI都在里面发挥着重要作用。使用AI进行推荐,需要大量的数据进行训练才能达到更好的效果,据介绍,仅今日头条一款产品30天的训练模型,其数据量就会超过4PB,而正常训练一个完整的模型则需要至少一年的数据量。而在视频的合规性审核方面,字节跳动不但使用计算机视觉技术对视频图像进行分析,同时利用语音识别技术对音频进行合规性分析。而这些技术的大规模应用会对系统的基础设施带来极大的挑战,比如计算能力、网络带宽以及存储性能等等。

随着字节跳动数据中心规模的扩大,服务器数量的高速增长,为了最大化资源利用率,字节跳动与Intel公司成立了创新实验室,全部采用Intel最新的可扩展处理器平台,并根据不同应用场景对软件堆栈进行深层次优化。据介绍,成果非常显著,能够实现大约30%的能力提升,更好的资源利用率意味着更好的购置成本和运营成本节省。

不管推荐系统,还是审核系统,其每天都会处理海量的数据,这对底层存储系统的性能有着苛刻的需求,SSD已经成为字节跳动的必然选择。但并不是说使用SSD就能直接解决问题,尤其NVMe SSD使用,通常会给计算、网络系统带来直接的压力,将原本存储的性能瓶颈转移到计算或者网络。

为了提升整体系统的综合性能表现,还需要站在更高层次对各个子系统进行系统性优化,比如与Intel合作中,双方共同针对人工智能、Cascade Lake,最新64层Nand存储技术,高速网络产品以及FPGA在不同系统中应用进行了探索,并与DPDK、SPDK、BigData以及OS kernel等软件层的优化相结合,取得了极大的进展,获得了极为显著的成功。

字节跳动取得辉煌成绩不仅意味着中国互联网市场的巨大潜力,同时意味着中国数据中心技术的飞速发展接近国际领先水平。跟着新强快专列的先遣队伍,走进中国最先进数据中心,跟着最优科学技术内容的媒体队伍,走进全球最先进科普知识,快戳“科学Sciences”订阅吧!

三、2022冬奥会今日头条数据中心入住网宿子公司数据中心

2022年冬奥会重点合作项目——上市公司网宿科技子公司秦淮数据打造的官厅湖新媒体大数据产业基地,目前已进度过半,其中今日头条数据中心作为首个进驻新媒体大数据产业基地的重点项目,最快将在今年4季度试运行。

根据中国互联网络信息中心(CNNIC)最新发布的《中国互联网络发展状况统计报告》,截至2017年6月底,我国网民规模

  • 2
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
字节跳动常见算法面试题top50整理如下: 1. 两数之和:给定一个整数数组和一个目标值,找出数组中和为目标值的两个数。 2. 两数相加:给定两个非空链表表示两个非负整数,将两数相加返回一个新的链表。 3. 无重复字符的最长子串:给定一个字符串,请找出其中不含有重复字符的最长子串的长度。 4. 两个排序数组的中位数:给定两个大小分别为 m 和 n 的有序数组 nums1 和 nums2,请找出这两个有序数组的中位数。 5. 电话号码的字母组合:给定一个仅包含数字 2-9 的字符串,返回所有它能表示的字母组合。 6. 四数之和:给定一个包含 n 个整数的数组 nums 和一个目标值 target,判断 nums 中是否存在四个元素 a、b、c 和 d,使得 a + b + c + d 的值与 target 相等。 7. 合并两个有序链表:将两个有序链表合并为一个新的有序链表并返回。 8. 验证回文串:给定一个字符串,验证它是否是回文串。 9. 最长有效括号:给定一个只包含 '(' 和 ')' 的字符串,找出最长的包含有效括号的子串的长度。 10. 二叉树的最大深度:给定一个二叉树,找出其最大深度。 11. 盛最多水的容器:给定 n 个非负整数 a1,a2,...,an,每个数代表坐标中的一个点 (i, ai)。在坐标内画 n 条垂直线,垂直线 i 的两个端点分别为 (i, ai) 和 (i, 0)。找出其中的两条线,使得它们与 x 轴共同构成的容器可以容纳最多的水。 12. 三数之和:给定一个包含 n 个整数的数组 nums,判断 nums 中是否存在三个元素 a,b,c ,使得 a + b + c = 0 ? 13. 最接近的三数之和:给定一个包括 n 个整数的数组 nums 和 一个目标值 target。找出 nums 中的三个整数,使得它们的和与 target 最接近。 14. 有效的括号:给定一个只包括 '(',')','{','}','[',']' 的字符串,判断字符串是否有效。 15. 合并两个有序数组:给定两个有序数组 nums1 和 nums2,将 nums2 合并到 nums1 中,使得 num1 成为一个有序数组。 16. 数组中的第K个最大元素:在未排序的数组中找到第 k 个最大的元素。 17. 罗马数字转整数:将罗马数字转换成整数。 18. 最小路径和:给定一个包含非负整数的 m x n 网格,请找出一条从左上角到右下角的路径,使得路径上的数字总和最小。 19. 矩阵置零:给定一个 m x n 的矩阵,如果一个元素为 0,则将其所在行和列的所有元素都设为 0。 20. 字符串相乘:给定两个以字符串形式表示的非负整数 num1 和 num2,返回 num1 和 num2 的乘积。 21.有效的数独:判断一个 9x9 的数独是否有效。 22. 旋转图像:给定一个 n × n 的二维矩阵表示一个图像,将图像顺时针旋转 90 度。 23. 搜索旋转排序数组:假设按照升序排序的数组在预先未知的某个点上进行了旋转。 24. 螺旋矩阵:给定一个包含 m x n 个元素的矩阵(m 行, n 列),请按照顺时针螺旋顺序,返回矩阵中的所有元素。 25. 合并K个排序链表:合并 k 个排序链表,返回合并后的排序链表。 26. 不同路径:一个机器人位于一个 m x n 网格的左上角,机器人每次只能向下或者向右移动一步。 27. 跳跃游戏:给定一个非负整数数组,你最初位于数组的第一个位置。 28. 插入区间:给出一个无重叠的,按照区间起始端点排序的区间列表。 29. 最长公共前缀:编写一个函数来查找字符串数组中的最长公共前缀。 30. 螺旋矩阵 II:给定一个正整数 n,生成一个包含 1 到 n2 所有元素,且元素按顺时针顺序螺旋排列的正方形矩阵。 31. 编辑距离:给定两个单词 word1 和 word2,计算出将 word1 转换成 word2 所使用的最少操作数。 32. 删除排序链表中的重复元素:给定一个排序链表,删除所有重复的元素,使得每个元素只出现一次。 33. 字符串转整数(atoi):请你来实现一个 atoi 函数,使其能将字符串转换成整数。 34. 平衡二叉树:给定一个二叉树,判断它是否是高度平衡的二叉树。 35. Pow(x, n):实现 pow(x, n),即计算 x 的 n 次幂函数。 36. 搜索二维矩阵:编写一个高效的算法来判断 m x n 矩阵中,是否存在一个目标值。 37. 接雨水:给定 n 个非负整数表示每个宽度为 1 的柱子的高度图,计算按此排列的柱子,下雨之后能接多少雨水。 38. 二进制求和:给定两个二进制字符串,返回它们的和(用二进制表示)。 39. 括号生成:给出 n 对括号,请编写一个函数来生成所有的由 n 对括号组成的合法组合。 40. 逆波兰表达式求值:根据逆波兰表示法,求表达式的值。 41. 环形链表:给定一个链表,判断链表中是否有环。 42. 环形链表 II:给定一个链表,返回链表开始入环的第一个节点。 43. 重建二叉树:根据一棵树的前序遍历与中序遍历构造二叉树。 44. 验证二叉搜索树:给定一个二叉树,判断其是否是一个有效的二叉搜索树。 45. 二叉树的中序遍历:给定一个二叉树,返回它的中序 遍历。 46. 最小栈:设计一个支持 push,pop,top 操作,并能在常数时间内检索到最小元素的栈。 47. 单词拆分:给定一个非空字符串 s 和一个包含非空单词列表的字典 wordDict,判定 s 是否可以被空格拆分为一个或多个在字典中出现的单词。 48. 对称二叉树:给定一个二叉树,检查它是否是镜像对称的。 49. N皇后问题:给定一个整数 n,返回所有不同的 n 皇后问题的解决方案。 50. 跳跃游戏 II:给定一个非负整数数组,你最初位于数组的第一个位置,在该位 我们的主要任务是根据输入来模拟对话。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值