大数据
銨靜菂等芐紶
这个作者很懒,什么都没留下…
展开
-
大数据开发常用的编程语言有哪些?
转自:http://www.pinlue.com/article/2020/09/0123/0511161659052.html原创 2020-09-25 17:30:04 · 197 阅读 · 0 评论 -
浅谈大数据的四个典型特征。
大数据(Big Data)是指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合。”业界通常用4个V(即Volume、Variety、Value、Velocity)来概括大数据的特征。 一是数据体量巨大(Volume)。截至目前,人类生产的所有印刷材料的数据量是200PB(1PB=210TB),而历史上全人类说过的所有的话的数据量大约是5EB(1EB=210PB)。当前,典型个人计算机硬盘的容量为TB量级,而一些大企业的数据量已经接近EB量级。 二...转载 2020-09-26 11:40:09 · 1989 阅读 · 0 评论 -
只会用Excel吗?这套全面的数据分析工具打包送你
转载自品略图书馆http://www.pinlue.com/article/2020/04/0210/5110100879443.html未来的大数据时代最赚钱的岗位或者技能是啥?有人说AI工程师,也有人说高级咨询师,还有人说网络安全工程师.....从百度,知乎看到的答案层出不穷,但80%的答案里都出现了一个相同的职业,那就是数据分析师。现在越来越多岗位都对数据分析能力有要求,...转载 2020-04-08 13:40:00 · 237 阅读 · 0 评论 -
人工智能与物联网重新定义未来的可能性。
人工智能与物联网重新定义未来的可能性O随着科技的不断发展,一些在功能上具有相互补充作用的技术正在不可避免地发生结合——例如,人工智能(AI)和物联网(IoT)。由于物联网的快速发展,企业可以使规模庞大的设备或“事物”实现网络连接和数据共享,并能够通过数据分析获取收益。由于AI能够从海量物联网数据中“学习”,从而快速作出决策并揭示深刻见解,因此对于任何希望扩展物联网价值的企业而言...转载 2019-05-17 18:31:10 · 477 阅读 · 0 评论 -
“高精尖领域”的3D打印是这么玩 …
提起3D打印,很多人一定会认为,这是一个非常新的技术,但是事实上并不是这样。3D打印技术的历史,并不比喷墨打印短多少,它诞生于1986年,3D打印的思想起源于19世纪末美国研究的照相雕塑和地貌形成技术。将数字化的3D图形转化成为物理实物,这一想法最早是由美国人查尔斯•豪尔申请的专利(Charles W. Hull),其原理为立体光刻造型。查尔斯•豪尔需要指出的是,这位豪尔先生,同...翻译 2019-05-13 13:05:33 · 324 阅读 · 0 评论 -
苹果高通和解后,华为5G芯片市场地位稳了?
导读 香港媒体称,苹果和高通之间旷日持久的法律讼战达成和解协议之后,华为作为5G芯片制造商的地位得到增强。尽管华为5G调制解调器芯片目前只用在自己的手机上,但无疑地它将成为高通在5G调制解调器芯片市场上的主要竞争对手。 ICCSZ讯 香港南华早报日前报道称,苹果和高通之间旷日持久的法律讼战达成和解协议之后,华为作为5G芯片制造商的地位得到增强。以下是...转载 2019-05-13 12:41:39 · 674 阅读 · 0 评论 -
歌对华为使用安卓设限,但物联网操作系统还有更大机会
外媒报道称,谷歌已经暂停了与华为的部分业务往来。在Android系统中,谷歌将不再与华为开展需要转让硬件和软件产品的业务,Google Play、Gmail、YouTube、Google地图、Chrome浏览器等服务都将停止向华为手机提供,华为仅能使用安卓开源项目(AOSP)继续开发新的系统。继海思“备胎转正”之后,这则消息再次将群众的情绪激起,也再次给国内科技产业敲响警钟,将自研操作系统提上...转载 2019-05-22 12:14:13 · 1429 阅读 · 0 评论 -
5G浪潮下,机器人行业仍处于技术储备阶段。
导 读回顾整个移动通信发展史,有人说2G时代发短信是最时髦的通信方式,3G时代微信兴起,4G时代手机把衣食住行都“管起来”。到了5G时代,已经突破传统通信技术人与人之间点对点的通信模式,大量物联网设备和工业设备成为新的联网终端,这使得各行业加速融合,垂直行业的应用也更加多样,产业互联网新生态正在加速形成。5G或许是第一个为各类传感器、机器人、自动驾驶车辆、虚拟现实等智能设备服务的网络,...转载 2019-05-25 15:09:26 · 586 阅读 · 0 评论 -
物联网正为智慧农业铺平道路。
物联网正为智慧农业铺平道路现代技术彻底改变了工业领域,农业也不例外。使用物联网的智慧农业将带来更高效的农业技术,并改变农业产业。全球有8.21亿人遭受饥饿,其中包括1.5亿多儿童。贫困、气候变化、食物浪费、政治冲突和食物短缺等多种因素造成了高饥饿率。全球饥饿加剧的另一个主要原因是缺乏优质的基础设施,以及缺乏政府和私人投资。因此,多个全球性非营利组织正在不断寻找新的更好的方法来解决这一危...转载 2019-05-25 12:48:35 · 342 阅读 · 0 评论 -
微软开源基于近邻图的最近邻搜索算法SPTAG 。
不断向开源社区添砖加瓦的微软近日又有大动作-- 将强大的最近邻搜索算法开源。2019年5月15日,GitHub存储库上的开源社区成员都可以访问微软的空间分区树和图(SPTAG)算法,该算法“允许用户充分利用学习模型在以毫秒为单位时间内智能搜索数十亿条信息(也称矢量)。”我们每个人每天都在享受各种在线服务(在线搜索、新闻推荐等)所带来的种种便利。这些服务的背后隐藏着庞大的、需要计算机实时处理的数...翻译 2019-05-16 15:05:46 · 734 阅读 · 0 评论 -
iphone手机信号差?教你一招辨别基带是高通还是英特尔
iphone手机信号差?教你一招辨别基带是高通还是英特尔,望转告!虽说iPhone手机的优势很多,很多的人愿意购买iPhone手机,但是iPhone手机从一开始出来到现在一直是有一个问题,那就是iPhone手机在信号上比较差,不过那个时候很多的用户并没有把这个问题放在心里,因为也只是部分的机型出现了这个问题,很大一部分还是没有出现的。可是在去年这个问题就彻底的爆发了,众多的用户都表示购买了去年...原创 2019-05-18 12:20:20 · 2643 阅读 · 0 评论 -
Excel表格拆分,教你三个绝招。
财务平时面对形形色色的Excel表,什么奇葩问题都能遇上,比如:1. 姓名和手机号码都连在一个格子里,怎么分开?2. 怎么把一张表里按客户拆成多个工作表?有多少客户拆分成多少表……3. 想把一张表分成多张单独的表文件,除了新建复制还能怎么做?遇到上面这类问题,我猜你是不是还在用Ctrl C和Ctrl V?数据少则还好,要是多则上百行数据,简直要复制粘贴到崩溃…今天,学习下面三招...转载 2019-05-29 13:47:17 · 22247 阅读 · 2 评论 -
Kaggle实战目标检测技巧合集
本文来自52CV群友Spytensor参加Kaggle目标检测比赛的总结,作者是位数据竞赛爱好者,文章非常具有实战意义。欢迎收藏~背景国内的数据竞赛真的缺乏交流,还是喜欢 kaggle 的 kernel 和讨论区,真硬核!这里分享一下我总结的一些目标检测中会用到的 “奇淫技巧”,牵扯到代码的我就直接拿mmdetection[1] 来举例了,修改起来比较简单。1. 模型选择近...转载 2019-06-01 12:02:17 · 2576 阅读 · 2 评论 -
大数据开发必须掌握哪些技术?
当学生问到如何学习大数据技术,每次口头介绍都心中清楚无法清晰讲清楚这些技术名词,简单整理给大家。大数据开发的工具与语言:编程语言(Java,python,R语言等)1、大数据离线处理架构Hadoop(基于JAVA)开源免费,懂JavaSE;2、大数据实时计算的架构storm(基于JAVA)开源免费,懂JavaSE;3、大数据内存计算Spark(基于Scala语言开发)基于JDK开发...转载 2019-07-24 14:53:21 · 444 阅读 · 0 评论 -
数据科学家处理小数据的7个技巧。
我们经常会听到,大数据是建立成功的机器学习项目的关键。一个主要的问题是:许多组织没有你需要的数据。在没有最基本的、必要的、未经处理数据的情况下,我们应该如何为机器学习的概念建立原型并加以验证呢?在资源匮乏的情况下,我们应如何有效地获取并用数据创造价值?在我工作的地方,我们会为客户建立许多函数原型。为此,小数据对我大有帮助。在这篇文章中我会分享7个小技巧,能帮助你在用小数据集建立原型时改...转载 2019-07-24 13:18:30 · 186 阅读 · 0 评论 -
5G的加速器:分布式边缘计算基础设施。
数据中心具有高速和超低延迟等特点,但需要把这种特性分布到网络的边缘,这样5G才能真正起飞。边缘计算有助于为自动驾驶,高频交易和移动VR等应用提供低延迟支持。在接下来的文章中,我们将深入探讨为什么分布式边缘计算基础架构是5G的关键。5G的期望和预测华为通过演示证明了Mate X可以实现1Gbps的下行速度和接近100 Mbps的上行速度,相较于4G / LTE的200Mbps...转载 2019-07-19 13:03:07 · 701 阅读 · 0 评论 -
总结 数据分析师需要掌握的10个统计学知识
Glassdoor利用庞大的就业数据和员工反馈信息,统计了美国25个最佳职位排行榜,其中,数据科学家排名第一。这个工作的重要性可见一斑。毫无疑问,数据科学家所做的事情是不断变化和发展的。随着机器学习的普遍应用,数据科学家们将继续在创新和技术进步浪潮中独领风骚。很多软件工程师想转型数据科学家,他们盲目地使用机器学习框架TensorFlow或Apache Spark,而没有透彻理解背后的统计理论。...转载 2019-06-24 13:55:38 · 2191 阅读 · 0 评论 -
5G牌照发放 ,手机产业将迎来第二春
6月6日上午,5G牌照正式发放,工信部向中国移动、中国联通、中国电信和中国广电颁发了5G牌照。对此,很多业内人士称,5G牌照发放时间比计划提前了近一年。目前军团成立了手机等3C电子CMF(色彩、材料、工艺)行业微信交流群,小米、华为、三星、锤子科技、TCL、华硕电脑、oppo、vivo、努比亚、闻泰通讯、华勤、伯恩光学、蓝思科技、富士康、仁宝电脑、瑞声科技、歌尔股份、比亚迪电子等均已加入,...转载 2019-06-11 12:57:04 · 596 阅读 · 0 评论 -
如果你想转型数据科学家,就应该要掌握这几个统计学技术
Glassdoor利用庞大的就业数据和员工反馈信息,统计了美国25个最佳职位排行榜,其中,数据科学家排名第一。这个工作的重要性可见一斑。毫无疑问,数据科学家所做的事情是不断变化和发展的。随着机器学习的普遍应用,数据科学家们将继续在创新和技术进步浪潮中独领风骚。虽然编码能力很重要,但数据科学并不都是研究软件工程的。他们生活在编码、统计学和批判性思维的交叉点上。正如数据科学家乔希·威尔斯(Josh...转载 2019-06-16 11:41:03 · 182 阅读 · 0 评论 -
智能设备通话能力的研究与应用 …
摘要近几年,智能设备蓬勃发展,运营商传统业务停滞不前,运营商需要增加新的业务来增加客户黏性,促进用户保有量。提出了基于能力开放平台的网络架构研究智能设备通话的解决方案,并以智能音箱的应用为例介绍了智能设备通话的应用场景,最后对未来智能设备通话的进展和趋势进行了展望。关键词智能设备;IMS网络;SDK;SIP0 前言伴随着人工智能的快速发展,人们的生活已经逐渐走入智能时代,而现今...转载 2019-06-13 13:45:07 · 405 阅读 · 0 评论 -
2019年大数据发展将走向何方。
近日,包括CCF(中国计算机学会)大数据专家委员会、IDC公司(Internet Data Center 互联网数据中心)和Gartner公司等多家国内外知名信息技术研究机构均发布报告,对2019年乃至未来若干年的大数据产业发展趋势做出预测,并对大数据令人瞩目的应用领域进行乐观而谨慎的推断。CCF大数据专家委员会:大数据“从热点到支点”在近日举行的2018中国大数据技术大会上,CCF大数据...原创 2019-05-11 23:07:43 · 263 阅读 · 0 评论 -
中国公有云市场竞争白热化 天翼云市场份额持续提升!
IDC报告:中国公有云市场竞争白热化 天翼云市场份额持续提升5月6日,IDC发布了《中国公有云服务市场(2018下半年)跟踪》,报告显示,2018年下半年,阿里云、腾讯云、中国电信、AWS和金山云位列中国公有云市场前五名,延续了2018年上半年发展势头,几家巨头依然处于优势地位。IDC报告指出,2018年IaaS市场增速同比增长88.4%。从IaaS市场份额来看,阿里云、腾讯云、中国...转载 2019-05-11 22:29:50 · 1619 阅读 · 0 评论 -
面对十亿数据量的技术挑战,如何对系统进行性能优化
我们来聊一聊在十亿级的大数据量技术挑战下,世界上最优秀的大数据系统之一的Hadoop是如何将系统性能提升数十倍的?如果对Hadoop这个大数据系统一点了解都没有,可以先看之前的一篇文章快速入个门:《兄弟,用大白话告诉你小白都能看懂的Hadoop架构原理》首先一起来画个图,回顾一下Hadoop HDFS中的超大数据文件上传的原理。其实说出来也很简单,比如有个十亿数据量级的超大数据文件,可...原创 2019-05-14 17:40:18 · 244 阅读 · 0 评论 -
5G时代华为因为专利多至少比苹果少交了40亿 …
世上有这么一家企业。你从未见过它家的产品,却每天都要付钱给它。这便是高通。就在上个月,高通与苹果公司达成和解,苹果还向高通支付了一笔高达45亿美元的和解金。而就在昨天,又有消息曝出:华为高通就专利问题进行了和解谈判,华为每年或向高通支付超 5 亿美元的专利费用。随后就有网友表示:你看!华为又赢了,因为华为比苹果交的少。。。不过也有一些理...原创 2019-05-09 16:40:16 · 565 阅读 · 0 评论 -
物联网大爆发背后:封闭和割裂成为最大瓶颈。
最近两年,IOT(物联网:Internetofthings)已经成为全球科技界的一个热门词汇。福布斯对全球500名企业管理者进行了调研,受访者普遍认为物联网在最重要的新兴技术中列于首位,将其重要性排在机器人、人工智能等技术之前。而智能家居设备销量高速增长正是推动IOT热度的重要力量,IDC数据显示,2017年全球智能家居销量4.3亿台,预计2022年全球出货量接近10亿台。随着大...转载 2019-05-19 14:32:30 · 319 阅读 · 0 评论 -
App渗透中常见的加密与解密。
随着App移动应用技术 的广泛应用及移动开发技术的飞速发展过程中,移动应用的安全也越来越被得到重视,在App服务端渗透中,我们在抓包时经常会发现App在数据传输过程中做了加密(如图1),以防止数据被查看或者被篡改;而渗透过程中的很多时候我们都需要抓包数据修改,这就要求我们需要先对App数据包进行解密了。一、一些常见的加密方式对于App传输数据加密,一般会考虑三个方面1) 可用性:客...转载 2019-05-19 12:36:38 · 5735 阅读 · 0 评论 -
Build 大会结束了,微软的“大象起舞”才刚刚开始
2007年,Y Combinator的创始人保罗·格拉汉姆在一篇名为《微软已死》的文章中,对微软进行了“死刑宣判”。如今十二年过去,微软不仅没有死掉,反而再度崛起,市值更是一度突破万亿美金,而在最近的 2019 Build 大会上,微软更是向外界传递了这样一个信息:自 1985 年开始,微软依靠 Windows 操作系统把自己推广到全世界。现在,微软想让Azure接替 Windows,再次让自...翻译 2019-05-14 15:54:11 · 279 阅读 · 0 评论 -
网络的宽度如何影响深度学习模型的性能?
大家好,这是专栏《AI不惑境》的第三篇文章,讲述模型宽度与模型性能的关系。进入到不惑境界,就是向高手迈进的开始了,在这个境界需要自己独立思考。如果说学习是一个从模仿,到追随,到创造的过程,那么到这个阶段,应该跃过了模仿和追随的阶段,进入了创造的阶段。从这个境界开始,讲述的问题可能不再有答案,更多的是激发大家一起来思考。作者&编辑 | 言有三上一期咱们说到深度学习模型之所以在...转载 2019-05-19 11:06:48 · 4872 阅读 · 0 评论 -
云计算究竟对各行业起到什么作用?
云计算这个词可谓是如今热门中的热门,不仅国内外各个IT大佬巨头在此部署云计算,很多传统企业也纷纷转型云计算。在中国,虽然云计算的起步相比于外国稍晚一些,但是云计算也在国内飞速发展着,早几年提到云计算,我们谈的更多的是理论,而如今,我们更多的是要把云计算切切实实落地。可以说,云计算不仅在改变互联网,也在改变着我们生活的方方面面。那么云计算究竟给我们生活带来哪些贡献呢?来看看小编总结的“云端贡献”。...原创 2019-05-09 15:51:57 · 1058 阅读 · 0 评论 -
医疗人工智能与未来医院信息化建设
德勤在近日发布的《亚太地区医疗保健展望》报告中指出,以前医疗保健行业主要集中在美国和欧洲,现在却正向亚太地区迅速转移,亚太地区医疗保健行业将呈现井喷式增长。投中研究院的数据显示,2018年我国医疗健康行业VC/PE融资案例数量和规模大幅反弹,融资案例数量776起,较2017年增长36.38%,融资规模104.01亿美元,较2017年增长46.41%。种种迹象显示,我国将迎来医疗保健行业的创新创业新...转载 2019-05-09 14:36:57 · 2114 阅读 · 0 评论 -
我们应该如何正确理解商业智能 BI 的价值 ?
商业智能 BI 要解决的问题商业智能 BI ( Business Intelligence) 简单来说就是一套由数据仓库、查询报表、数据分析等组成的数据类技术解决方案,将企业中不同业务系统( ERP、CRM、OA、BPM 等,包括自己开发的业务系统软件)中的数据进行有效的整合,并利用合适的查询和分析工具快速并且准确的为企业提供报表展现与分析,为企业提供决策支持。商业智能概述商业智能 B...原创 2019-05-09 14:19:05 · 577 阅读 · 0 评论 -
AI | 人工智能靠什么走向大众
随着人脸识别、语音识别和自动驾驶日益成为关注焦点,人工智能(AI)与社会、人类生活融合程度正在快速演进。其实早在1956年,人工智能这个“术语”就被正式提出。但在有限且昂贵的计算能力、已有计算方法存在缺陷、缺乏数据量这些无法克服的基础性障碍面前,“模拟人类大脑”显得非常遥远。此后,一直到20世纪80年代初,随着一类名为“专家系统”的AI程序开始为全世界的公司所采用,人工智能才兴起了第二次热...转载 2019-05-10 11:51:32 · 221 阅读 · 0 评论 -
谷歌I/O开发者大会:人工智能如何推进医学、化学、机器人技术
在上周举行的谷歌年度I/O开发者大会上,谷歌研究小组高级研究员兼谷歌人工智能部门负责人JeffDean概述了公司解决人工智能和机器学习挑战性科学问题的努力。该演讲推出了谷歌2500万美元的全球人工智能影响拨款计划,以及谷歌发布的三项由人工智能技术支持的无障碍项目。Dean围绕着美国陆军工程师核心在2008年发表的21世纪重大挑战清单进行了讨论。其中包括:对大脑进行逆向工程,管理氮循环,通过聚变...转载 2019-05-16 13:11:46 · 187 阅读 · 0 评论 -
工业互联网平台核心技术之三:并行计算与分布式计算
并行计算、分布式计算以及网格计算和云计算都是属于高性能计算(HPC)的范畴,主要目的在于对大数据的分析与处理,但它们却存在很多差异。我们需要了解两者的原理、特点和运用的场合,对云计算的了解大有裨益。之所以将两种计算技术放在一起,是因为这两种计算具有共同的特点,都是运用并行来获得更高性能计算,把大任务分为N个小任务。但两者还是有区别的,关于两者的区别在后面有介绍。一并行计算 1、...转载 2019-05-16 12:36:45 · 495 阅读 · 0 评论 -
华为新系统名为“鸿蒙”,秋天或面试 。
华为,加油↖(^ω^)↗华为是一家了不起的公司,一直是国人的骄傲。最直观的就是给我们提供了非常好的手机,拥有自己的核心技术,营收大部分来自海外,特别是欧洲。华为5G技术在国际处于领先地位。美国以安全为由,与中国展开贸易战,华为更是美国“特殊照顾”的重中之重,华为正遭遇前所未有的挑战。第一:谷歌公司停止向华为公司提供安卓系统的技术支持也就是说华为无法提供应用商店、地图、YouT...转载 2019-05-24 16:38:13 · 853 阅读 · 2 评论 -
三星拒绝向苹果提供5G芯片,苹果陷入了怎样境地?
据相关媒体报道,传闻苹果有意向高通与三星电子采购5G基带芯片,但是都被拒绝。此前,折叠屏手机领域这一块,苹果已经落后于华为、三星等。如今,苹果向高通和三星购买5G基带失败,目测要么跟网友所言试试华为这一渠道,要么就自研5G芯片。但是,以目前华为和苹果以及华为和美国之间的纠纷,第一条路显然是丢了面子又失里子,而第二条路却会陷入“落后就要挨打”的局面。若说三星拒绝提供5G芯片是意料之外,那么高通拒...翻译 2019-05-11 12:05:11 · 394 阅读 · 0 评论 -
Linux高级技巧:服务器集群之keepalived 。
Keepalived是一个基于VRRP协议来实现的WEB服务高可用方案,可以利用其来避免单点故障。使用多台节点安装keepalived。其他的节点用来提供真实的服务,同样的,他们对外表现一个虚拟的IP。主服务器宕机的时候,备份服务器就会接管虚拟IP,继续提供服务,从而保证了高可用性。1、keepalived的原理keepalived的原理图如下所示:最左边是客户机,它访问我们...原创 2019-05-10 15:46:03 · 184 阅读 · 0 评论 -
走进5G第一城:这才叫引领5G!
我一路兴奋地拍着5G基站。汽车在机场高速上飞驰,窗外一座座挂上了5G AAU设备的通信基站匆匆而过。我害怕抓不住那些画面,一路不停地按着快门。就这样,我来到了“杭州5G第一城”。有了5G基站的列道欢迎,我想这注定是一场难忘之旅吧。2019年4月28日,浙江省人民政府与中国电信、中国移动、中国联通、中国铁塔在杭州共同举办5G+行动联合发布会。本次大会吸引了全国100多家国内外...转载 2019-05-10 13:23:03 · 513 阅读 · 0 评论 -
Intel拟进军7nm,对标台积电5nm!
Intel今天举行了两年来的第一次投资者会议,新任CEO司睿博亲自上阵,向投资者们披露了大量未来产品和技术规划。首先是工艺方面,Intel承认在10nm工艺上冒险太大,设置了过高的技术指标,导致一再延期,未来会在新工艺开发中重新定义预期指标,不一味过高追求。具体来说,14nm工艺(对标台积电10nm)会继续充实产能,满足市场需求。10nm工艺(对标台积电7nm)消费级产品今年年底购物季...转载 2019-05-10 12:53:16 · 377 阅读 · 0 评论 -
Go sort包使用与源码剖析
包方面 sort包里包括哪些文件 sort.go如何使用,有什么需要注意的地方 example_*_test.go格式的文件是做什么用的 slice.go如何使用,有什么需要注意的地方 search.go如何使用,有什么需要注意的地方 genzfunc.go是什么,如何使用 算法方面 涉及到哪些算法 算法的比较 ...转载 2019-05-15 10:51:39 · 219 阅读 · 0 评论