大数据
真爱无敌86
华为云MVP,华为云体验官,昇思MindSpore资深开发者
本人具备丰富的工作经验、扎实的技术能力以及项目管理能力,对业务需求分析比较透彻,不仅能够独立完成任务,也能带领团队完成任务,具有良好的团队协作精神和沟通能力。
从事软件行业有10年多,经历过电信省级规模的项目、地市级广电项目,使用过普通的JAVA技术、SSH、SSI/SSM框架,同样也接触过包括云计算、大数据、物联网等主流技术。
对大数据以及BI行业有个人独特的看法和见解,能够独立制作解决方案。
目前在互联网行业担当CTO,负责整体公司产品的技术架构,同时也接触互联网产品和运营相关的内容。
展开
-
看朝阳大悦城、银泰百货如何用大数据进行有效分析!
现在越来越多的企业与互联网对接,搭建大数据平台,利用大数据进行有效分析。商业地产要如何利用大数据对客户群有效分析?一、商业地产进军电商的核心——大数据研究从国内近年来新开张的商业物业来看,影院、餐厅、美容、健身、娱乐等“亲历性”服务项目占有的面积正在不断增多,而单纯的商品销售面积正在不断减少,这也是苏宁、国美、万达等传统商业企业全面高调进军电商的原因。只有进入电商领域,他们转载 2015-05-08 14:23:14 · 2356 阅读 · 0 评论 -
大数据透视《西游记》之妖怪分布
在《西游记》中,唐僧师徒四人历经九九八十一难,途中遭遇各路妖怪,有上仙的坐骑,有“倒插门”的女婿,有自行修炼成精的……,具体妖怪的统计从唐僧收了孙悟空之后(既第十四回以后)算起,人类的强盗不计算在内。只计算各难中的主要Boss及其配偶。第六十四回中的几个树精也不计算在内,因为都是植物成精,并且无甚戏剧冲突。1)妖怪背景据统计:主要妖怪共计44个,死亡21个,活命23个。详细转载 2015-06-22 14:40:40 · 2475 阅读 · 0 评论 -
天天说大数据但不知怎么用?读完这篇你就懂了
企业运营对于企业来说是非常重要的,因为良好的运营体系会让企业在市场宣传中轻松应对各种情况。当我们迈入数据时代的时候,企业在运营上相对应的也发生了改变,从最初的粗放式运营逐渐过渡到精细化运营。一、企业为何要做精细化运营随着互联网、媒体、用户、市场的变化,企业发现过去他们所做的粗狂式运营已经不能有效的提升效率和增加企业用户了,所以,一些企业开始找寻新的运营方式,比如逐渐转变为CPM(每转载 2015-05-19 10:25:17 · 1035 阅读 · 0 评论 -
解析大数据基准测试——TPC-H or TPC-DS
随着开源Hapdoop、Map/Reduce、Spark、HDFS、HBASE等技术的商用化,大数据管理技术得到了突飞猛进的发展。一般来说,大数据具有3V特性,即Volume(海量)、Velocity(高速)和Variety(多样)[1]。TPC联合主席、Cisco高级工程师Raghunath Nambiar进一步认为大数据还面临Value(价值)和Veracity(精确)的挑战。如何客观地比较不转载 2015-05-19 10:26:54 · 23976 阅读 · 1 评论 -
大数据思维的十大原理:当样本数量足够大时,你会发现其实每个人都是一模一样的
大数据思维原理是什么?笔者概括为10项原理。一、数据核心原理从“流程”核心转变为“数据”核心大数据时代,计算模式也发生了转变,从“流程”核心转变为“数据”核心。Hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结构化数据及分析需求,将改变IT系统的升级方式:从简单增量到架构变化。大数据下的新思维——计算模式的转变。例如:IBM将使用以数据为中心的设计,目转载 2015-05-19 10:29:43 · 18552 阅读 · 0 评论 -
2015也过去一半了,Hadoop大事件盘点
2015也快过去一半了,Hadoop在过去一年的发展究竟如何,下面小象带你盘点一下2014Hadoop大事件!2014年2月,Hadoop 2.3.0发布,新特性包括支持HDFS的混合存储分级,可以集中管理HDFS内存里的缓存数据,通过HDFS中的YARN分布式缓存简化MapReduce分配及一些Bug修正。2014年4月,Hadoop 2.4.0发布。包括HDFS支持ACL权限控转载 2015-05-19 10:31:03 · 876 阅读 · 0 评论 -
大数据分析的八大趋势
Intuit数据工程副主管Loconzolo双脚都已经迈进数据湖里了。Smarter Remarketer首席数据科学家DeanAbbott也为云技术的发展指出了捷径。他们二人一致认为, 大数据与分析学前沿是个活动目标,这一领域包含了储存原始数据的数据湖和云计算。尽管这些技术并未成熟,但等待也并非上策。Loconzolo表示:“现实的情况是,这些工具都刚刚兴起,他们构筑的平台还不足以让转载 2015-05-19 10:27:55 · 1273 阅读 · 0 评论 -
警惕!大数据营销中你丢了什么?
什么是大数据营销?大数据营销是基于多平台的大量数据,依托大数据技术的基础上,应用于互联网广告行业的营销方式。大数据营销衍生于互联网行业,又作用于互联网行业。依托多平台的大数据采集,以及大数据技术的分析与预测能力,能够使广告更加精准有效,给品牌企业带来更高的投资回报率。大数据营销给企业的好处是什么以往企业做营销宣传基本是一对多的模式,即选定一个大的平台,在这上面做营销推广转载 2015-05-26 15:06:34 · 532 阅读 · 0 评论 -
科技公司如何利用数据让用户习惯成瘾?
GSN Games是一家移动游戏公司,开发扑克和宾果(bingo)一类的游戏产品。这家公司每天能够从玩家正在使用的手机和平板电脑中搜集数十亿数字信号——一切信息应有尽有,玩家的游戏时间、游戏类型,甚至是他们面对游戏失败的反应。如果两个用户在同型号的手机上下载了同样一款游戏,仅仅在五分钟之内,他们各自所玩的游戏就会开始变得不同——每个游戏都会自己调整,以适应玩家的风格。但是GSN不仅追踪转载 2015-05-26 15:06:21 · 1084 阅读 · 0 评论 -
高考志愿填报 别迷信“大数据”
做好功课、心中有底,才能理性做出选择;深化招考制度改革,探索更科学、合理的录取方式,才能让考生有更多选择高考之后,还有“大考”。如何避免高分落榜,如何不让分数“浪费”,每年高考志愿填报之时,这些问题都让众多考生和家长纠结不已。今年我国全面实行平行志愿录取投档,一些地区的录取方式出现变化,这让许多考生和家长对该填报哪所大学、哪个专业更拿不准。在此情势下,高考志愿咨询市场应运而生。转载 2015-07-02 15:10:04 · 953 阅读 · 0 评论 -
数据论《西游记》关系网:猪八戒最主动喜欢别人
大数据时代,更多人开始关注社会关系网络SNS(Social NetworkingServices),Gephi可以帮助我们非常直观地从各种角度展现这些复杂的关系,并且可以进行简单网络查询,如“超过100000人关注的大V有哪些?”。下面以96版《西游记》以及周星驰版《大话西游》里的人物关系(其实就是神仙之间的爱慕关系)为例进行演示。我把整个关系定义为有向图,“猪八戒”对“嫦转载 2015-06-22 14:38:31 · 3638 阅读 · 0 评论 -
你的老婆是怎么算出来的?揭秘佳缘用户推荐系统
总结、温习,这两点让人成长。而不是你走得有多快!这句话我写了半年了,这篇文章算是此话付诸实践的开端吧。本文是我对自己这几年所接触的技术的总结,有些技术与工作直接相关,有些则纯属个人兴趣。具体说,本文分为两部分,第一部分介绍佳缘用户推荐系统的发展历史。这部分的介绍很好地反映我们对这个问题的思考和理解过程。这期间我们走了很多弯路,但也正是这些弯路让我们积累了很多婚恋交友推荐里独特的实战转载 2015-06-22 14:35:25 · 859 阅读 · 0 评论 -
大数据的傲慢
2018年,苹果8发布,这时,手机已经不叫手机,而叫个人信息终端,人们可以在这上面完成一切;2025年,打车软件的大数据系统已经不需要个人发出打车需求,你出门的时候,就已经有车停在门口,并且知道你要去哪里;2032年,一个无远弗届的信息收集机制被建立起来,同年,国家统计局改名为国家信息中心,一切已经不需要统计,一切发生的时候就已经被统计;2050年,市场取消,在大数据与智能制造的配合下,一切个性化转载 2015-06-22 14:32:43 · 835 阅读 · 0 评论 -
智慧城市: 整体解决方案
导读: 慧城市整体解决方案,是指在城市发展过程中,在城市基础设施、资源环境、社会民生、经济产业、市政管理五大核心领域中,充分利用物联网、互联网、云计算、高性能计算、智能科学等新兴技术手段,对城市居民生活工作、企业经营发展和政府行使职能过程中的相关活动和需求,进行智慧的感知、互联、处理和协调,是城市构建成为一个由新技术支持涵盖市民、企业和政府的新城市生态系统,为市民提供一个美好的生活和工作环境,为企转载 2015-05-07 16:40:56 · 1963 阅读 · 0 评论 -
R+Hadoop大数据方案有哪些坑?
摘要: 为什么有些公司在机器学习业务方面倾向使用 R + Hadoop 方案?因为他们在不懂R和Hadoop的特征应用场景的情况下,恰好抓到了一根免费,开源的稻草。R:R的应用场景不在于无与伦比的统计学习能力,而在于结构化数据下 ...为什么有些公司在机器学习业务方面倾向使用 R + Hadoop 方案?因为他们在不懂R和Hadoop的特征应转载 2015-05-07 16:32:10 · 3754 阅读 · 0 评论 -
大数据的七大核心具体价值
随着移动互联网的飞速发展,信息的传输日益方便快捷,端到端的需求也日益突出,纵观整个移动互联网领域,数据已被认为是继云计算、物联网之后的又一大颠覆性的技术性革命,毋庸置疑,大数据市场是待挖掘的金矿,其价值不言而喻。可以说谁能掌握和合理运用用户大数据的核心资源,谁就能在接下来的技术变革中进一步发展壮大。大数据,可以说是史上第一次将各行各业的用户、方案提供商、服务商、运营商以及整个生转载 2015-05-07 16:34:57 · 3699 阅读 · 0 评论 -
深度解析大数据在公安领域的应用
近一两年,大数据开始在公安等行业领域得到普及应用,除了行业自身的特殊要求外,大数据也带动了相关行业的需求发展。未来,基于大数据的行业应用会变得更加深入,更多的相关厂商也会涉及其中,大数据在公安领域的商业模式架构逐渐清晰起来。在安防的细分领域中,大数据在公安及智能交通探索应用得比较早,相关的解决方案和技术也比较成熟,在广西等地也已经有相关的项目落地,大数据应用系统已经上线运营,取转载 2015-06-01 10:17:27 · 6652 阅读 · 0 评论 -
网络营销大数据实操七步走
对很多企业来说,大数据的概念已不陌生,但如何在营销中应用大数据仍是说易行难。其实,作为大数据最先落地也最先体现出价值的应用领域,网络营销的数据化之路已有成熟的经验及操作模式。一、获取全网用户数据首先需要明确的是,仅有企业数据,即使规模再大,也只是孤岛数据。在收集、打通企业内部的用户数据时,还要与互联网数据统合,才能准确掌握用户在站内站外的全方位的行为,使数据在营销中体现应有的价值。转载 2015-06-01 10:42:22 · 856 阅读 · 0 评论 -
当智能交通遇上大数据 智能交通不再是梦
智能交通发展至今,各地采集的数据浩如烟海,这些数据存在巨大的潜力和价值,亟待处理和挖掘。而随着大数据时代的到来,智能交通也许真的可以“智能”起来。不过,交通大数据只是一系列图和表,交通工程师也只是参谋,政府才是决策者。大数据与管理如果不能携手同行,智能也只能在云端打转。东方之星客轮在长江湖北监利段倾覆之前,最后形成的航迹监测线路和状态信息来自一个叫作宝船网的转载 2015-06-22 14:29:39 · 1272 阅读 · 0 评论 -
2015中国大数据的市场容量有多大?
新兴产业的出现和发展有两种基本模式。一种是需求导向型,实际应用中出现了明显的痛点,必须要解决,不然就有人一直痛。另一种是技术导向型,革命性的技术先出现,慢慢地新技术扩大了用户的想象空间,进而激发出新的需求。大数据从概念提出到今天形成一个完整的产业,基本上属于第二种模式。Hadoop生态系统下的技术(包括 pig,hive,spark,storm,hbase等)是目前大数据业界中事实上的转载 2015-05-26 15:04:21 · 1059 阅读 · 0 评论 -
HBase在腾讯大数据的应用实践
最近正好看到CSDN上一直在宣传腾讯云:就在不久前,支付宝、携程、蓝翔就因不同原因出现了网络故障,紧随其后艺龙网,途牛网、去哪儿网纷纷遭到大流量DDoS攻击,并造成短暂的业务中断。其中携程中断近12个小时,根据携程一季度财报公布的数据,折算每小时损失106.48万美元,那么本次中断相当于损失了1277.76万美元。艺龙网因为紧急接入腾讯云的大禹系统,过滤了攻击流量,只引入正常流量,转载 2015-06-12 16:06:53 · 1436 阅读 · 0 评论 -
信息图:你意想不到的大数据
字节(B: byte), 兆字节(MB: megabyte), 千兆字节(GB: gigabyte)…… 你大概对这些术语已经非常熟悉了吧,但是,你知道什么是“太字节”(TB: terabyte)、”拍字节“(PB: petabyte)和“艾字节”(EB: exabyte)吗?这些比较少见的词是用来描述大数据的单位,或者描述那些普通数据软件难以在短时间获取、组织、管理及处理的数据集。试想一转载 2015-06-12 16:09:28 · 944 阅读 · 0 评论 -
不同场景下MySQL的迁移方案
一 为什么要迁移MySQL 迁移是 DBA 日常维护中的一个工作。迁移,究其本义,无非是把实际存在的物体挪走,保证该物体的完整性以及延续性。就像柔软的沙滩上,两个天真无邪的小孩,把一堆沙子挪向其他地方,铸就内心神往的城堡。生产环境中,有以下情况需要做迁移工作,如下:1.磁盘空间不够。比如一些老项目,选用的机型并不一定适用于数据库。随着时间的推移,硬盘转载 2015-09-21 16:46:51 · 4214 阅读 · 0 评论 -
Spark入门到精通视频学习资料--第六章:Machine Learning on Spark(1讲)
MLlib is Apache Spark's scalable machine learning library.(如下图所示) 很明显:MLlib 是一个广泛的机器学习的libray。 其定为基于Apache Spark的四大子组件,并且权重极大。在目前而言,Spark 0.9.1 MLLIB 包含了如下的算法:1 依赖2 二元分类3 线性原创 2015-03-04 13:45:22 · 2511 阅读 · 0 评论 -
Spark入门到精通视频学习资料--第五章:Shark介绍与使用(2讲)
熟悉Hadoop的应该就知道HBase和Hive,如果了解这两个组件,那么对于Shark就不会那么陌生了,也就比较容易上手了。Shark基本上就是在Spark的框架基础上提供和Hive一样的HiveQL命令接口,为了最大程度的保持和Hive的兼容性,Shark使用了 Hive的API来实现query Parsing和 Logic Plan generation,最后的PhysicalPla原创 2015-03-02 13:56:31 · 1880 阅读 · 2 评论 -
Spark入门到精通视频学习资料--第四章:基于Spark的流处理框架Spark Streaming(2讲)
随着大数据的发展,人们对大数据的处理要求也越来越高,原有的批处理框架MapReduce适合离线计算,却无法满足实时性要求较高的业务,如实时推荐、用户行为分析等。 Spark Streaming是建立在Spark上的实时计算框架,通过它提供的丰富的API、基于内存的高速执行引擎,用户可以结合流式、批处理和交互试查询应用。 本文将详细介绍 Spark Streaming 实时计算框架的原理与特点、适用原创 2015-02-28 12:53:05 · 3614 阅读 · 0 评论 -
Spark入门到精通视频学习资料--第三章:Spark进阶(2讲)
掌握Spark内核是精通Spark的关键,也是驾驭Spark的精髓所在。基于Spark内核,Spark构建起了一体化多元化的大数据处理流水线,在一个技术堆栈中即可以同时完成批处理、实时流处理、交互式查询、机器学习、图计算以及这些子框架之间数据和RDD算子的无缝共享与互操作。可以说,Spark内核是每个想彻底掌握Spark的人员的必修课,通过对内核的探索,我们对整个Spark的运行机制会了如原创 2015-02-28 12:40:05 · 3295 阅读 · 1 评论 -
Spark入门到精通视频学习资料--第二章:Spark生态系统介绍,Spark整体概述与Spark编程模型(2讲)
概述什么是Spark◆ Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭原创 2015-02-26 13:58:08 · 1878 阅读 · 0 评论 -
Spark入门到精通视频学习资料--第一章、Scala基础与实践
Scala可能是下下一代Java。这么高的评价让人不禁想看看它到底是什么东西。原创 2015-02-06 16:38:59 · 6915 阅读 · 6 评论 -
Spark入门到精通视频学习资料--第七章:Spark多语言编程(1讲)
Spark目前支持scala、python、JAVA编程。作为Spark的原生语言,scala是开发Spark应用程序的首选,其优雅简洁的代码,令开发过mapreduce代码的码农感觉象是上了天堂。Spark提供了python的编程模型PySpark,使得python可以作为Spark开发语言之一。尽管现在PySpark还不能支持所有的Spark API,但是我们相信以后的支持度会越来越高原创 2015-03-04 13:55:02 · 1639 阅读 · 0 评论 -
2016 大数据版图
原文是 FirstMark Capital 的 Matt Turck 的文章。本文全面总结了大数据领域的发展态势,分析认为尽管大数据作为一个术语似乎已经过气,但是大数据分析与应用才刚刚开始兴起,在与 AI、人工智能等新兴技术的结合下,大数据的机会也许要比大家想象的还要大。在喜新厌旧的技术初创企业界,已有 3年 历史 “大数据” 听起来似乎已经过气了。虽然 Hadoop 在 20转载 2016-02-16 10:52:34 · 1172 阅读 · 0 评论 -
一小时了解数据挖掘⑥数据挖掘的评估和结果可视化展示
数据挖掘的评估评价一个数据挖掘系统主要从准确性、性能、功能性、可用性和辅助功能五个主要方面来考虑。准确性评估数据挖掘系统最关键的因素是准确性。通过在数据挖掘系统上执行算法做的预测和分类的准确率,我们可以判断系统中的算法是否合理,数据采集是否全面以及数据预处理工作是否完善。性能该系统能否在我们需要的商业平台运行;软件的架构是否能连接不同的数据源;操作大数据集时转载 2015-07-21 16:15:50 · 3263 阅读 · 0 评论 -
一小时了解数据挖掘⑤数据挖掘步骤&常用的聚类、决策树和CRISP-DM概念
数据挖掘有很多不同的实施方法,如果只是把数据拉到Excel表格中计算一下,那只是数据分析,不是数据挖掘。本文主要讲解数据挖掘的基本规范流程。CRISP-DM和SEMMA是两种常用的数据挖掘流程。数据挖掘的一般步骤从数据本身来考虑,数据挖掘通常需要有信息收集、数据集成、数据规约、数据清理、数据变换、数据挖掘实施过程、模式评估和知识表示8个步骤。步骤(1)信息收集:根据确定的数转载 2015-07-21 16:08:29 · 2478 阅读 · 0 评论 -
一小时了解数据挖掘④:商务智能原理解读的数据挖掘九大定律
马云在2012年网商大会上的演讲中说过:“假如我们有了一个数据预报台,就像为企业装上了一个GPS和雷达,企业的出海将会更有把握。”。这里的数据预报台就是下文所述的商业智能。什么是商业智能(Business Intelligence)数据挖掘的最终目的是要实现数据的价值,而商业智能是在企业中实现数据价值的最佳方式之一。商业智能(Business Intelligence,简 称BI)转载 2015-07-21 16:07:26 · 979 阅读 · 0 评论 -
大数据变现的九种商业模式
如今,走到哪都在提大数据,我们周围无处不存在大数据的概念,那么究竟大数据如何转变成价值,如何实现其应有的功能,个人觉得下面这篇文章介绍的很好,转过来供大家分享:在大数据成为趋势,成为国家战略的今天,如何最大限度发挥大数据的价值成为人们思考的问题。无论是对于互联网企业、电信运营商还是数量众多的初创企业而言,大数据的变现显得尤为重要。谁最先一步找到密码,谁就能够抢占市场,赢得发展。转载 2015-06-12 16:13:30 · 1968 阅读 · 0 评论 -
大数据的最大价值: 大数据+物体=智能
人与物体,是地球的两大类,人是地球上最高级的动物,物体(动物,植物,生物,微生物,人造物体)不能制造,人拥有智慧,人主宰了这个地球;但现在,大数据对于物体如同知识对于人脑一样,如果物体利用大数据的核心技术 (机器学习,自然语言处理,数学建模,人机交互,语音识别,大数据分析、数据可视化) 可以加工数据到信息再到智慧,去做支撑,那么随着数据存的越多,处理的越好,利用的越有效,物体拥有的智能就如转载 2015-07-02 15:05:26 · 1065 阅读 · 0 评论 -
猫眼发布电影大数据报告:大数据时代的电影消费洞察
近日,猫眼电影发布了关于“大数据时代的电影消费洞察”的报告(以下简称报告),报告数据分析来源于超5亿人次的猫眼电影消费数据和4000家影院数据。报告显示,2015上半年全国电影票房线上化率超过50%,最受好评的国产片是《战狼》,进口片是《速度与激情》。公开数据显示,2015上半年中国电影票房同比激增49%,达到202亿元。其中,中国电影市场的高速互联网化趋势明显,3月份线上出票占大盘比超过转载 2015-07-16 13:13:46 · 2233 阅读 · 0 评论 -
大数据带来六种全新商业模式
人们认为“数据是新型石油”,一种需要企业加以利用和改进的天然资源。这是事实还是炒作?Mohamed Zaki解释说,虽然许多公司已经从大数据中获益,但这也提出了严峻的挑战。政府机构已经宣布加快大数据研究,而且根据Gartner公司的调查,2013年64%的公司正在投资——或打算投资大数据技术。Gartner公司也指出虽然企业相信大数据的优势,许多公司也正在从大数据中转载 2015-07-16 13:11:01 · 6548 阅读 · 0 评论 -
大数据之于智能交通意义重大仍面临五大难题
日前,在2015中国智慧城市国际博览会上,来自台湾的勤亚科技张及人透露“台湾政府在将近九年前就开始规划所谓的大的交通数据云,用数据来管理整个交通出行。比如通知你从A到B大概走多少时间,这个时间给你选择走西会更快或者更慢一点,通过这种模式来做。”在公共交通部门,张及人称台湾已经全面做到了公车到站提醒,准确率在96在97%。“这样大家坐公交时不会浪费时间,能合理地安排自己的出行计划。”在出租车和商用车转载 2015-07-16 13:06:51 · 2207 阅读 · 0 评论 -
机器学习和统计模型的差异
在各种各样的数据科学论坛上这样一个问题经常被问到——机器学习和统计模型的差别是什么?这确实是一个难以回答的问题。考虑到机器学习和统计模型解决问题的相似性,两者的区别似乎仅仅在于数据量和模型建立者的不同。这里有一张覆盖机器学习和统计模型的数据科学维恩图。在这篇文章中,我将尽最大的努力来展示机器学习和统计模型的区别,同时也欢迎业界有经验的朋友对本文进行补充。在我开始之前转载 2015-07-16 13:15:32 · 1085 阅读 · 0 评论