IT工程师
文章平均质量分 71
大圣众包平台
我们是大圣众包,专注大数据与IT服务领域的众包平台。欢迎有技术有梦想的IT工程师入驻,做个自由职业!
展开
-
Apache Flink异军突起受欢迎!
大数据产业兴盛期,说到大数据分析引擎,不少人第一时间会想起Spark、Impala等,然而,作为Apache顶级项目的Flink也是不少企业的选择。它到底有什么优势呢?和Spark相比较,它有什么更可取之处呢?且听大圣众包威客平台一一道来。 一、宝剑露锋芒——Apache Flink 作为Apache的顶级项目,Flink固然集众多优点于一身,包括快速、可靠可扩展、完全原创 2016-11-14 11:16:16 · 406 阅读 · 0 评论 -
来自通讯行业的大数据从业者的真实感悟!
大数据应用已经十分广泛,需求越来越大,先不说使用的程度如何,但作为数据工程师你知道最重要的能力是什么吗?下面大圣众包小编给大家分享一篇来自通讯行业的大数据从业者的真实感悟,看看他对通讯行业数据工程师有哪些建议。 真正从数据挖掘项目实践的角度讲,沟通能力对挖掘的兴趣爱好是最重要的,有了爱好才可以愿意钻研,有了不错的沟通能力,才可以正确理解业务问题,才能正确把业务问题转化成挖掘问题,才可以在转载 2016-12-13 11:10:56 · 1411 阅读 · 1 评论 -
程序员:你知道自己的编程水平吗?
现代心理学上一直试图通过观察一个人能够在这个冰山上打多深的孔来分析一个人能够在多大程度上掌握一种技能,我们不妨用这种方式来描述一下编程能力的4个阶段。一、无意识,无能力约翰是一个年轻的网站开发者。他以前是一个法律科的学生,但是他认为他的钱途不在这方面,所以他眼睛一转,做了转行的决定。他曾经帮他的朋友修过计算机,而且很成功,所以他认为这方面应该都很容易。他很快找的了一些能够让他学习这转载 2016-11-24 17:38:31 · 985 阅读 · 0 评论 -
SAS如何和HADOOP交互、集成?
经常有人咨询,SAS如何和HADOOP交互、集成?下面我们大圣众包小编分享一篇来自CSDN的Anyjack文章。在回答这个问题前,主要看HADOOP在SAS系统中的定位,有下面定位考虑: 1.把HADOOP作为传统数据源供SAS访问 这是最简单的一种应用场景,就是把HADOOP当做类似于ORACLE/DB2等之类的数据库源来使用,SAS有能力直接在HADOOP上进行数据转载 2016-12-07 10:44:55 · 4359 阅读 · 0 评论 -
程序员跳槽:该选择互联网公司还是软件公司?
程序员跳槽常常会有一个疑问,我到底该进软件公司还是互联网公司,谁比谁高一点点?大圣众包小编就帮你找找答案,根据众网友的体验反馈将这两种公司的工作差异对比给大家看看。一、软件公司与互联网公司的典型企业有哪些,程序员们分别在哪儿上班(聚集)?1.软件公司程序员在哪些公司工作?很多人说到软件公司就是IBM、Cisco之流,其实和VC不是只有红杉、IDG一样,软件公司也是多种多样,原创 2016-11-25 11:12:52 · 7031 阅读 · 1 评论 -
推荐:web开发人员常用8个小工具!
随着技术发展,web网页开发要求越来越高,开发者都希望能更快速更高效更完美地展示,但工欲善其事必先利其器,今天我们大圣众包(www.dashengzb.cn)小编就为大家整理8个好用的web开发常用工具,希望可以收藏实践下。 1、Bootstrap Bootstrap 是快速开发 Web 应用程序的前端工具包。它是一个 CSS 和 HTML 的集合,它使用了最新的浏览器原创 2016-12-07 18:01:26 · 6033 阅读 · 1 评论 -
大数据应用将颠覆传统的Saas吗?
随着大量的信息涌入互联网——90%的互联网是过去两年建立起来的——互联网公司正在想方设法去熟悉并利用大数据来推动他们的业务。正如SaaS和云技术一样完全变革了企业的运作方式一样,大数据应用(BDA)也同样可以。BDA是基于网络的应用,它通过解释和使用大量的企业和网络规模的数据,为他们的用户提供更智能的结果。 但真正的问题是:假如底层的数据结构使用Hadoop和noSQL会是什么样转载 2016-12-08 11:31:19 · 510 阅读 · 0 评论 -
3个案例教你用Spark解决Map Reduce问题!
Spark是一个Apache项目,它被标榜为“快如闪电的集群计算”。它拥有一个繁荣的开源社区,并且是目前最活跃的Apache项目。 Spark提供了一个更快、更通用的数据处理平台。和Hadoop相比,Spark可以让你的程序在内存中运行时速度提升100倍,或者在磁盘上运行时速度提升10倍。同时spark也让传统的mapreducejob开发变得更加简单快捷。之前我们大圣众包小转载 2016-12-09 11:34:46 · 2265 阅读 · 0 评论 -
IT公司该如何落实机器学习?
Cisco发布的总结报告《泽字节时代:趋势和分析》中指出:2016年末,全球年度互联网流量将突破ZB大关(1ZB泽字节:1000EB艾字节),并将于2020年达到2.3ZB;互联网的流量将在未来五年内增长三倍;智能手机终端的流量将于2020年超过PC终端。(注:泽字节为十万亿亿字节) TalkingData的机器学习 TalkingData的日均处理量,现在每天在Tal转载 2016-12-09 16:58:08 · 679 阅读 · 0 评论 -
聊聊数据可视化的那些事及常用工具!
数据分析报告中常常看到各种精致漂亮的图形、表格,不仅可以直接反映给读者,而且可以让数据更形象化,降低读取数据门槛等!因此,数据可视化是数据分析当中的重要一环。下面我们大圣众包(www.dashengzb.cn)和大家一起聊聊数据可视化。 数据可视化的原理 数据可视化可以针对复杂或大规模的数据,通过计算机图形、图像、人机交互等技术,将模拟的数据转化成图形、动画、视频等形式原创 2016-11-28 16:14:35 · 728 阅读 · 0 评论 -
关于NoSQL数据库的分类以及优缺点!
传统的关系系数据库已经无法应对数据日益庞大的企业,特别是互联网快速发展行业,因此现在企业IT架构中首先考虑使用NoSQL数据库。那什么是NoSQL数据库呢?今天大圣众包(www.dashengzb.cn)小编看到一篇来自化学数据联盟的文章,关于NoSQL数据库的分类以及各自的优缺点。 NoSQL顾名思义就是Not-OnlySQL,它可以作为关系型数据库的良好补充。在TechTar转载 2016-12-06 15:24:09 · 7971 阅读 · 0 评论 -
解密:Apache Hive 2.1性能提升26倍!
日前,ApacheHive2.1极速登场!携着内存计算,其性能提高了约26倍。Hive计算性能得到如此大的提升,是得益于什么呢?Hive能够影响目前SQL On Hadoop的竞争局面的原因又是什么呢?大圣众包威客平台为你揭秘! 大数据时代,处理数据信息的速度越快,兼容性越高,性能越优秀,产品的竞争力才越大。而让ApacheHive2.1版本拥有以上特性的幕后功臣,分别为以下6个原创 2016-11-23 10:43:09 · 4416 阅读 · 0 评论 -
ApacheBeam:大数据处理的一大神器!
你知道被认为继MapReduce、GFS、BigQuery等之后,Google在大数据处理领域对开源社区的又一大贡献是哪个项目吗?答案是ApacheBeam。事实上,“Beam”这个项目名称已经很清楚地表明了它的设计初衷——统一批处理(Batch)模式和数据流(Stream)处理模式的标准。今天,请跟随大圣众包威客平台的脚步,一起了解ApacheBeam到底有多炫! 一、Apac原创 2016-12-05 10:08:32 · 17380 阅读 · 3 评论 -
数据分析师进阶就在这两方面入手!
作为数据分析师,如何提升分析能力,更好运用数据,发挥极致是我们的追求,但数据分析能力的提升更应该落到实处,从细节多方面进行。今天,大圣众包小编就分享一篇来自数据分析不是个事儿的文章吧,看看他是从哪几个方面去提升的! 业务篇 1.业务为核心,数据为王 了解整个产业链的结构 制定好业务的发展规划 了解衡量的核心指标 有了数据必须和业务转载 2016-11-17 16:24:28 · 706 阅读 · 0 评论 -
15个常用的人工智能项目应用工具!
人工智能是科技研究中最热门的方向之一。像IBM、谷歌、微软、Facebook和亚马逊等公司都在研发上投入大量的资金、或者收购那些在机器学习、神经网络、自然语言和图像处理等领域取得了进展的初创公司。考虑到人们对此感兴趣的程度,我们将不会惊讶于斯坦福的专家在人工智能报告中得出的结论:“越来越强大的人工智能应用,可能会对我们的社会和经济产生深远的积极影响,这将出现在从现在到2030年的时间段里。”转载 2016-11-30 10:33:38 · 10361 阅读 · 0 评论 -
K-Means聚类算法的4个步骤流程!
聚类分析是我们数据挖掘中常用的算法,常常用于没有分类,但又有相关相似性的样本研究当中,包括了K-Means、K-中心点和系统聚类三种算法,各自有各自的特点和适用环境。今天我们大圣众包根据网络资源详细介绍下K-Means聚类算法。 首先,先看看K-Means聚类算法是什么?一般来说,K-Means算法是典型的基于距离的非层次聚类算法,在最小化误差函数的基础上将数据划分为预定的类数K,采用距转载 2016-11-14 16:38:47 · 75264 阅读 · 1 评论 -
常用的编程语言的30个深度学习库!
AlphaGo击败了围棋高手李世石后,令本来就热度不减的深度学习更是火了一把。随着深度学习需求的大大增加,IT人对深度学习库的需求也随之而增加起来。今天,就由大圣众包威客平台为你介绍包括Python、Java、Haskell等在内的一系列编程语言的深度学习库。 一、Python Blocks是一种帮助你在Theano之上建立神经网络模型的框架。 Caffe是一转载 2016-11-18 10:44:27 · 4852 阅读 · 0 评论 -
人工智能真的会取代人类劳动吗?
专家们提出警告,机器代替人类劳动或将使人类成为多余。他们担心我们发现了这一强大力量却还不明白如何正确运用。有人担忧人工智能进步可消灭数以百万计就业的人士,对人类造成“终结者”式的威胁。不过这些担忧其实是两百年前机械化和蒸汽机时代的老生常谈。当时人们对机器造成的危险争论不休,名之外“机器问题”,如今一场十分类似的争论正在进行。 由于所谓的“深度学习”通用技术,人工智能经历大量虚幻的转载 2016-11-15 10:44:20 · 8699 阅读 · 0 评论 -
干货:分析学中常用的3种分析方法!
自互联网普及以来,随着应用开发的深入,人类对网络认知越来越深,我们不只是简单打开浏览网页,而是各种操作,不定时打开、浏览不同的信息。因此,分析用户的行为也变得越来越复杂,越来越重要。但对于很多人来说,数据分析并不是简单易懂,所以今天大圣众包(www.dashengzb.cn)小编就介绍通用的分析学方法,主要从研究、测量和分析三方面入手,可以让你更直接明了。 研究 尽管基转载 2016-12-01 11:00:13 · 972 阅读 · 0 评论 -
初学者该如何选择编程语言呢?
互联网大热,随之对技术、程序员的需求也是很大,因此,很多大学生或想转行从事计算机编程工作,但市场上编程语言众多,我们该选择哪种语言呢?今天我们大圣众包小编根据网络资源从多个角度分析该选择哪个语言! 1.什么决定流行指数? 那么,哪种语言最流行?这个问题回答起来不如你想象的那么轻松。关键是要确定什么决定流行指数。 这是个极其开放性的问题,以至于维基百科有一篇文章转载 2016-11-15 17:03:46 · 3871 阅读 · 0 评论 -
干货:用R语言进行数据提取的方法!
数据提取是数据分析当中重要的一环,也是需要数据分析师耐心细心地做好。我们大圣众包(www.dashengzb.cn)小编今天就和大家分享蓝鲸的文章,如何通过R语言对数据进行提取分析,达到所需。 读取并创建数据表 首先第一步是读取数据,并创建名称为loandata的数据表。后面我们将从这个表中进行数据提取。 将数据表中的用户ID列设置为索引列,下转载 2016-12-01 14:31:42 · 199352 阅读 · 3 评论 -
推荐:国外知名6家大数据领域企业!
近几年,大数据概念十分火热,发展迅猛,各个企业都希望在大数据领域能有建树,但国内的大数据企业做得还不够,所以今天我们大圣众包就推荐6个国外大数据领域的优秀企业,跟着人家学习学习,主要涵盖云计算、数据可视化、数据分析应用、商业智能等不同范畴的企业。 IT项目——IBM IBM是世界三大IT巨头之一,很多公司在考虑到一些大型的IT项目是会想到IBM、SAP这类公司,其成熟的转载 2016-12-12 11:27:55 · 8579 阅读 · 0 评论 -
2017年大数据哪些趋势可能会影响到你呢?
又到了一年年末,2016年发生了太多。谷歌的围棋机器人“阿尔法狗(AlphaGo)”在比赛中击败了围棋世界冠军李世石;黑科技“区块链”真的火起来了;世界各国的政府也在加大对建立智慧城市的投资。我从2013年开始,每年都会对下一年的大数据趋势做出分析,2017年有望成为大数据的宏大之年。对大数据的炒作终于结束了,因此我们也终于可以开始着手发展大数据。这就是为什么我会把2017年称作”智能之年”。那么转载 2016-12-16 09:29:25 · 1087 阅读 · 0 评论 -
大数据处理引擎Spark与Flink对比分析!
大数据技术正飞速地发展着,催生出一代又一代快速便捷的大数据处理引擎,无论是Hadoop、Storm,还是后来的Spark、Flink。然而,毕竟没有哪一个框架可以完全支持所有的应用场景,也就说明不可能有任何一个框架可以完全取代另一个。今天,大圣众包威客平台(www.dashengzb.cn)将从几个项出发着重对比Spark与Flink这两个大数据处理引擎,探讨其两者的区别。 一、原创 2016-12-14 09:48:17 · 6305 阅读 · 1 评论 -
常用Hadoop平台的SQl优化方法!
要正确的优化SQL,必须能快速定位性能瓶颈点,或者说快速找到SQL主要的开销所在。最慢的设备通常是瓶颈点所在,如文件下载时的瓶颈点可能是网络速度,本地文件复制时的瓶颈点可能在于硬盘性能。 为了快速找到SQL的性能瓶颈点,首先需要读者对各种设备的性能数据有一些基本的认识,如千兆网络带宽是1000Mbps,硬盘转速为每分钟7200/10000转等。 下图数据给出了一些当前主转载 2016-12-16 17:18:27 · 932 阅读 · 0 评论 -
12张大数据图看看2016年世界各地发生大事件!
2016年只剩最后一天,这一年你有什么感触体会呢?其实我们生活在和平安定的环境,很难感受到全球的差异。因此今天我们是大圣众包(www.dashengzb.cn)小编带随大家一起回顾2016年,通过12张大数据图看看这一年世界各地发生大事件,通过不同视角来观察全球同胞,让我们可以更好地迎接明天,迎接未来!全世界难民人数增加 在2016年初,创纪录的6500万转载 2017-01-05 17:17:10 · 1738 阅读 · 0 评论 -
圣诞虽好,可别忘了背后的一些数据!
“Jinglebells,jinglebells,jinglealltheway……”每当响起这首欢快的圣诞歌曲时,我们知道,一年一度浪漫的圣诞节又来了。昨天的圣诞节你是如何度过的?节日虽好,可别光顾着玩哦!其实很多人也只是盲目跟从,关于圣诞的事却没懂多少?今天我们大圣众包小编就从大数据与BI方面为你揭秘圣诞节的一些小事! “圣诞精灵”,带来个性化惊喜 说起圣诞节,很多人会想到原创 2016-12-28 18:02:21 · 618 阅读 · 0 评论 -
推荐:深入浅出的自然语言处理书单!
DT时代,大数据、BI和人工智能均是十分火热的产业趋势,而自然语言处理作为人工智能领域和计算机科学领域中的一个重要方向,也随之火热了一把,得到不少IT人士的极大研究兴趣。现在,大圣众包威客平台推介若干本深入浅出的自然语言处理书籍。《Foundations of Statistical Natural Language Processing》 用统计方法处理自然语言原创 2017-01-06 11:22:02 · 5361 阅读 · 0 评论 -
MongoDB数据库优劣点及其使用!
有专门的SQL背景的人钻研NoSQL看起来是一项艰巨的任务。我曾经在小型MySQL环境和大型Oracle SQL环境使用过SQL。下面就从一个SQL用户的角度来看看MongoDB的优势、弱点、特性和使用。 MongoDB在什么时候是一个不错的选择? MongoDB是一个令人难以置信地健壮的、可扩展的、操作简便的数据库解决方案。 MongoDB是一个不错的选择,当你的开发转载 2016-12-30 10:01:20 · 2015 阅读 · 0 评论 -
mapreduce和storm两者处理数据的区别!
数据处理对于从事数据工作的朋友是每天日常工作了,但全量数据处理也常常借助系统软件,比如最常用的是hadoop、hive、apachestorm等等.今天我们大圣众包(www.dashengzb.cn)小编就为大家解答下mapreduce和storm这两者之间的区别,它们做数据处理过程的差异! 首先,先来说下storm是典型的流计算系统,mapreduce是典型的批处理系统。转载 2016-12-20 11:12:02 · 4436 阅读 · 0 评论 -
RDD数据结构,将成为Spark的核心模块!
要玩转大数据,Spark是一款很好的通用的并行计算框架。而经常接触Spark的数据人都会对RDD有一定的了解。那么,RDD到底是什么呢?今天,一起和大圣众包威客平台(www.dashengzb.cn)深入探讨RDD的相关知识点! 概括|RDD的基本介绍 RDD的全称是Resilient Distributed Datasets,顾名思义即为容错的、并行的数据结构。RDD原创 2016-12-30 15:46:32 · 1188 阅读 · 0 评论 -
探讨:2017年大数据发展前景及面临的问题!
大数据时代已经到来,它将颠覆一个个行业,使得世界格局发生重大变化。如今2016年即将结束,我们期许大数据在未来能有更大的发展,更多的可能。下面大圣众包(www.dashengzb.cn)带领大家一起看看2017年大数据的发展前景及其可能面临的问题。 Xavient 信息系统的云计算和大数据主管Neeraj Sabharwal认为:大数据将会越来越大,大到让那些企图处理大量且更复杂转载 2016-12-20 17:41:28 · 2662 阅读 · 0 评论 -
2017年值得关注的编程语言和工具!
IT技术行业需求日益增大,福利待遇也是越来越好,发展也越来越迅猛,现临近2017年,回顾2016,我们it技术语言、工具上也发生了不少变化,不少新兴的语言冒出来,得到更多人的认识使用,下面我们大圣众包小编为大家介绍下2017年可能火爆的编程语言和工具! 编程语言 JavaScript 继续迈着大步前进,由于 Web 浏览器的快速发布计划,JS 的标准每年都有更新。故“E原创 2016-12-21 09:59:42 · 1509 阅读 · 0 评论 -
对比分析:SFrame,Hdp2与skflow,谁更好呢?
数据科学必备少不了一些框架和库!今天我们大圣众包小编为大家对比分析下SFrame,Hdp2与skflow,看看这三个哪个更好呢! 1 SFrame 这家公司最初的名字叫graphlab,后来改名为dato,最近又进行了一次改名,叫turi了。 最近这次改名,是因为和datto的名字太相近了,被datto告了,因此改名为turi,目前的网站也已经变成turi.c转载 2017-01-16 17:40:38 · 1363 阅读 · 0 评论 -
做人工智能,先理解好这七大误区!
近几年,大数据、人工智能、AI等词已被媒体大肆宣传,让很多人赶鸭子上架也往这几个方面蹭一蹭,纷纷投入研发,但效果甚微,不禁让人产生疑问。人工智能真的如同媒体宣传那般神奇吗?今天大圣众包小编就为大家分享一篇来自简书的作者,关于人工智能的误区,先理解好再着手应用到自己的商业中! 误解一:人工智能是魔术 多数主流媒体将人工智能描述为神奇而神秘的。我们只需为大魔术师般的公司,G转载 2017-01-05 11:58:01 · 2429 阅读 · 0 评论 -
阿里云公司Hadoop研发的要求,看看人家需要什么样的人才?
年末除了关心奖金之外,大多数人都有一颗蠢蠢欲动的心——跳槽,希望来年能找到福利待遇更好、更有规模的企业,但你对自己能力是否有信心呢?现在我们大圣众包(www.dashengzb.cn)小编就分享一篇来自阿里云公司对Hadoop研发岗位的要求,看看人家需要什么样的人才,需要什么技能呢? 面试部分 基本能力 语言基础知识(一般需要在某语言2年以上经验)比如:JVM转载 2016-12-28 11:15:31 · 2354 阅读 · 0 评论 -
5款Python绘图库,为你轻松实现大数据可视化!
读图时代,图片不够精美绚丽,怎能够吸引住越来越挑剔的眼睛。而拥有“盛世美颜”的图片是怎样炼造而成的呢?大圣众包小编介绍5款交互式图表Python绘图库为你轻松实现大数据可视化!Bokeh 作为一个专门针对Web浏览器的呈现功能的交互式可视化Python库,Bokeh可以以各种可能途径实现数据可视化,这是将Bokeh称为每位数据科学家的必备“神器”的原因。原创 2017-01-04 17:54:12 · 36681 阅读 · 3 评论 -
初学python,看这些书就够了!
“不经一番寒彻骨,怎得梅花扑鼻香。”穷到吃土,却还想着升职加薪当上CEO迎娶白富美攀上人生巅峰,但是又懒散不学习,这很不科学。迎接大数据浪潮,大家可以从大数据技术的教学书籍上下手,早日脱离苦海,今天我们大圣众包小编继续为大家精选几本python的书籍!《Python学习手册(第4版)》 【内容介绍】通过《Python学习手册(第4版)》,可以学习到Pyth原创 2016-12-15 11:22:51 · 39539 阅读 · 5 评论 -
大数据在物流领域有哪些应用呢?
大数据一词已经渗透到各行各业,可见发展之快,价值之大,但实际上我们对大数据的挖掘只是冰山一角。今天我们大圣众包包就从物流行业,说说所谓的物流大数据的应用,物流大数据应用现处于起步阶段,发展比较缓慢,但互联网、电商蓬勃发展给物流大数据带来更多可能。 先来看看概念,所谓物流大数据,即运输、仓储、搬运装卸、包装及流通加工等物流环节中涉及的数据、信息等。通过大数据分析可以提高运输与配送效率、减少转载 2016-12-21 17:06:20 · 26509 阅读 · 1 评论 -
我为什么选择Python而不是Matlab和R语言呢?
做数据分析、科学计算等离不开工具、语言的使用,目前最流行的数据语言,无非是MATLAB,R语言,Python这三种语言,但今天大圣众包(www.dashengzb.cn)小编简单总结了python语言的一些特点及平常使用的工具等。 为什么Python比MATLAB、R语言好呢? 其实,这三种语言都很多数据分析师在用,但更推荐python,主要是有以下几点: 1原创 2017-01-03 14:43:27 · 58142 阅读 · 1 评论