2018年11月_数据工程师金牛

原创大数据丨分享16个大数据技术

1. Java编程技术Java编程技术是大数据学习的基础，Java是一种强类型语言，拥有极高的跨平台能力，可以编写桌面应用程序、Web应用程序、分布式系统和嵌入式系统应用程序等，是大数据工程师最喜欢的编程工具，因此，想学好大数据，掌握Java基础是必不可少的!2.Linux命令对于大数据开发通常是在Linux环境下进行的，相比Linux操作系统，Windows操作系统是封闭的操作系统，...

2018-11-29 09:35:33 473

原创大数据应用发展史：从搜索引擎到人工智能

我们对大数据技术的使用也经历了一个发展过程。从最开始的 Google 在搜索引擎中开始使用大数据技术，到现在无处不在的各种人工智能应用，伴随着大数据技术的发展，大数据应用也从曲高和寡走到了今天的遍地开花。Google 从最开始发表大数据划时代论文的时候，也许自己也没有想到，自己开启了一个大数据的新时代。今天大数据和人工智能的种种成就，离不开全球数百万大数据从业者的努力，这其中也包括你和我。...

2018-11-28 11:17:12 646

原创数说（之五）·大话大数据技术之Hadoop（下）

小伙伴们，过完双11，迎来双12，大家（的钱包）还好吗？似乎所有的节日都是买买买，8月份的工资给了中秋，9月份的工资给了国庆，10月份的工资给了双11,11月份的工资给了双12,12月份的给元旦，然后就是春节了……还是宅在家里，看看刷刷微信最省钱啊。上次说到了Hadoop的三个重要组件——HDFS、MapReduce和YARN，今天继续大话一下这些组件是如何工作的。提到H...

2018-11-27 10:29:39 399

原创 Python爬虫爬取美剧网站

一直有爱看美剧的习惯，一方面锻炼一下英语听力，一方面打发一下时间。之前是能在视频网站上面在线看的，可是自从广电总局的限制令之后，进口的美剧英剧等貌似就不在像以前一样同步更新了。但是，作为一个宅diao的我又怎甘心没剧追呢，所以网上随便查了一下就找到一个能用迅雷下载的美剧下载网站【天天美剧】，各种资源随便下载，最近迷上的BBC的高清纪录片，大自然美得不要不要的。虽说找到了资源网...

2018-11-26 12:20:25 204

原创 Python基础要打牢，先学会基本语法

Python简单易学，但又博大精深。许多人号称精通Python，却不会写Pythonic的代码，对很多常用包的使用也并不熟悉。学海无涯，我们先来了解一些Python中最基本的内容。 Python的特点解释型语言，无需编译即可运行提供了交互式命令行基于对象的编程思想跨平台和良好的兼容性，在Windows、Mac、Linux上都可运...

2018-11-25 12:23:41 331

原创 python数据分析超简单入门 -- 项目实践篇

| 导语适用于数据分析小白们~ ------ up主也是小白一枚，大加一起交流哈写在前面的话：1、项目来源于up主自学udacity中的一个项目实践，up主自身能力不足，因此文章很浅显2、泰坦尼克数据集是kaggle中一个好的可选数据集，网上有很多基于此数据集的分析&存活预测实践的文章3、要有点python基础哦~ 没有也没关系，先下载软件跑跑代码也是好的话不多说，这...

2018-11-24 11:41:00 649

原创 8个最高效的Python爬虫框架，你用过几个？

编收集了一些较为高效的Python爬虫框架。分享给大家。1.ScrapyScrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。2.PySpiderpyspider 是一个用python实现的功能强大的网络爬虫系统，能在浏览器界面上进行脚本的编写，...

2018-11-23 09:42:40 176

原创 Python读写Excel表格，就是这么简单粗暴又好用

最近在做一些数据处理和计算的工作，因为数据是以.csv格式保存的，因此刚开始直接用Excel来处理。但是做着做着发现重复的劳动其实并没有多大的意义，于是就想着写个小工具帮着处理。以前正好在一本书上看到过使用Python来处理Excel表格，可惜没有仔细看。于是我到处查找资料，基本解决了日常所需，终于算是完成了任务，因此撰写此文就算是总结吧，主要记录使用过程的常见问题及解决。 pytho...

2018-11-22 09:35:53 341

原创利用Python进行数据分析——绘图和可视化(八)(2)

1、注释以及在Subplot上绘图除标准的图表对象之外，你可能还希望绘制一些自定义的注释（比如文本、箭头或其他图形等）。注释可以通过text、arrow和annotate等函数进行添加。text可以将文本绘制在图表的指定坐标（x, y），还可以加上一些自定义格式：In [41]: ax.text(x, y, ‘Hello world!‘, family=‘monospace‘, font...

2018-11-21 10:38:17 506

原创 Python从零入门教程 | 在不同的操作系统中安装Python编程环境

Python是一种跨平台的编程语言，这意味着它能够运行在所有主要的操作系统中，那么我们所熟知的操作系统包括：Windows、MacOs、 Linux。那么今天要讲的就是如何在每个操作系统中成功的安装python.一、在Windows系统中搭建Python编程环境01.下载进入Python官网，如图所示，点击箭头所指下载，或者点击红框框出来的进入下载页面选择对应自己操作系统的的版...

2018-11-20 10:31:45 508

原创 CNCC2018 分论坛(14) | 大数据治理是什么？怎么做？

现如今，大数据已经成为资产的一种，说到资产，它就一定存在价值。如何对大数据的价值进行评估？如何在经济、社会活动中发挥它的价值？这是一个难以回答的问题，需要深入的研究探讨。 2018中国计算机大会大数据治理分论坛从是什么、为什么、怎么做三个方面来诠释大数据治理体系，并举出三个全然不同的案例，并进一步探讨了大数据治理体系建设下国家标准化的工作。在这里我还是要推荐下我自己建的大数据学...

2018-11-19 11:22:57 908

原创带你了解什么是大数据

　大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。　在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Vel...

2018-11-18 10:11:02 327 1

原创业界 | 除了R、Python，还有这些重要的数据科学工具

这年头，如果你不会点儿R或者Python，你都不好意思说你是混数据圈的。在你向一些大神请教的时候，他可能也会推荐你学习这两个高级编程语言，然后顺便在推荐你了解一下SQL以及Math。如果讲究点的，可能还会传授你一些Spark、AWS/云计算的经验。嗯！差不多就这些了~ 当前主流数据科学领域用的工具就是这些了。但是，如果你想成为一个数据科学“英雄”，仅仅掌握...

2018-11-17 11:07:32 213

原创追求大数据首先要保证数据可靠

由于大数据和深度学习的推动，人工智能在当下已成为科学技术领域炙手可热的名词。眼下，许多人谈起大数据津津乐道，以为有了大数据，再加上深度学习，就可以无所不能了。然而事实并非如此简单。许多人以为通过多中心、大样本收集到越来越多的数据就是大数据，却忽略了一个十分重要的问题，即数据的真实性。就医疗卫生界而言，在各级各类医院中都存在数据不真实的问题。据媒体报道，山东省邹城市一老人受伤住...

2018-11-16 16:20:46 494

原创 “半路出家”的Kaggle Grandmaster：如何正确打开数据科学竞赛？

5金9银7铜——这是俄罗斯小哥Vladimir的Kaggle成绩单。凭借这一成绩，Vladimir也荣获了Kaggle的最高荣誉——竞赛超级大师（Competitions Grandmaster）。Kaggle至今已成立8年，注册用户超过100万，现仅有100余名Grandmaster，非常珍贵。除此之外，他还曾获得过“MICCAI 2017胃镜图像分析比赛”第一名，“MIC...

2018-11-14 15:16:53 441

原创零售业应用大数据分析的六大挑战

零售业是最传统的买卖双方互动平台。早在电子商务和移动商务崛起前，零售商们就以别出心裁的产品陈列，极具竞争力的价格和有效的销售技巧吸引了众多买家。随着科技的发展，现代技术正逐渐渗透进传统零售业。 2017年，零售业仅仅在美国的总销售额就超过了5万亿。为满足日益增长的需求和提供更优质的用户体验服务(86%的客户表示他们愿意为更好的购物体验支付更多费用)，传统零售业逐渐向技术化转型。...

2018-11-14 10:39:43 1287

原创零基础大数据入门必备

大数据是眼下非常时髦的技术名词，与此同时自然也催生出了一些与大数据处理相关的职业，通过对数据的挖掘分析来影响企业的商业决策。这群人在国外被叫做数据科学家（DataScientist），这个头衔最早由D.J.Pati和JeffHammerbacher于2008年提出，他们后来分别成为了领英（LinkedIn）和Facebook数据科学团队的负责人。而数据科学家这个职位目前也已经在美国传统...

2018-11-14 09:02:58 474

原创现在学大数据还来得及吗？

随着大数据时代的到来，有很多前端程序员想要转行大数据。不得不说，大数据行业可以说是为前端程序员量身打造的一个朝阳行业？为什么要这么说呢？因为前端程序员转型大数据工程师有着天然进阶优势，不仅仅是前景和薪资。技术层面来说，大数据使用的Hadoop(在分布式服务器集群上存储海量数据并运行分布式分析应用的一种方法）基本都是用Java语言完成，即使你没有学过Java上手Hadoop也是可以的。关...

2018-11-13 14:06:02 331 1

现在市面上的大数据产品太多了，但它们还远远没达到像 IaaS 层那样的标准化程度，每个产品之间的差别也并不是特别明确清晰。很多企业在做大数据平台或大数据方案的时候，常常不知道该选用哪些产品来满足自己的需求。一般的做法是做调研、学习、搭环境、测试、做各种产品的集成，但通常这个过程会很漫长，成本也很高。我们希望这些事情都交给云平台来做，云上所有的产品都可以一键部署、一键伸缩，不论是加节点还是减节点...

2018-11-08 11:18:04 207

原创深入浅出之新版支付宝数据体验

新版初体验今天小编有幸体验新版的支付宝，进入新榜支付宝页面，给人最直观的体现是颜色变得明亮了，首页更加简洁了，再也不用像以前一样从密密麻麻的服务中寻找自己所需的服务了。具体而言，本次支付宝新版变化可总结为以下3点：主色调由暗黑色向蓝色转变，看起来更加明亮、更加年轻、更加生活化；首屏交互更加简介，且突出了搜索、生活功能，APP底端首屏栏目名称也直接从支付宝变为生活； ...

2018-11-07 09:49:46 1014

原创大数据就业前景如何？哪些公司需要大数据人才？

据教育部数据显示，目前，全国已有35所高等院校开通了大数据专业。也就是说，高考报志愿可直接报大数据专业的学校了。同时思软科技与山西国际商务学院达成校企合作，开设大数据专业，共同培养大数据方向IT人才。　　2017年大数据专业就业前景本文福利：关注薇信工宗号：程序员交流互动平台，回复【大数据】可获取大数据基础视频教程一套　　据数联寻英发布《大数据人才报告》显示,目前全国的大数据人...

2018-11-06 09:05:10 993

原创玩转AI&DS第一步：个人计算设备搭建指南

深度学习是人工智能必不可少的一部分。而在硬件配置上，大家都在谈论GPU的重要性。不可置否，GPU是掀起深度学习热潮的主要力量，也是开展该领域工作所必不可少的硬件设备。不幸的是，人们往往把CPU、RAM、主板、存储和机箱的选择统统推到了一边。这种唯GPU论的做法，对于深度学习来说也不算太坏，但是如果你对其他领域感兴趣，那么就还需要考虑其他PC组件！下面文摘菌...

2018-11-05 11:37:37 782

原创强烈推荐：最用心的运营数据指标解读

数据分析涉及不同的业务领域，很多时候，业务的了解比数据技巧更重要。很多新人常问Python、SQL，但鲜有问业务，可后者才决定分析的成败。业务的洞悉决定了数据分析师发展的上限，数据技巧只是逼近它。好的分析师都懂业务，也必须懂业务。我希望通过本文，让数据新人对业务有一个大概的了解，也适用产品和运营新人（我是互联网背景，所以本文更多涉及这块）。文章的内容会给你「宽」的感觉，希望最后...

2018-11-04 10:39:48 843

原创拥有这些能力，大数据人才就是你！！！

01 起大数据行业持续升温，越来越多的人才涌进这个行业。想知道这个行业需要什么样的人才么？大数据的问题就交给大数据去完成吧~~我们按特定的职位名称，爬取了拉勾网上成都地区所有大数据相关职位的招聘信息，并对这份数据做了多维度分析，得到了很多有价值的信息，构成了一份大数据人才市场分析报告。本文节选报告第四章内容，对5类大数据相关职位的职位要求进行文本分析，给出人才市场上对这5类职...

2018-11-03 17:12:23 310

原创大数据必备的那些技术！！！

大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据处理手段所无法完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的IT技术。想要学好大数据需掌握以下技术：1. Java编程技术Java编程技术是大数据学习的基础，Java是一种强类型语言，拥有极高的跨平台...

2018-11-02 10:31:43 332

原创 Zookeeper分布式锁和队列

1.分布式锁分布式锁，这个主要得益于ZooKeeper为我们保证了数据的强一致性。锁服务可以分为两类，一个是保持独占，另一个是控制时序。所谓保持独占，就是所有试图来获取这个锁的客户端，最终只有一个可以成功获得这把锁。通常的做法是把zk上的一个znode看作是一把锁，通过 create znode的方式来实现。所有客户端都去创建 /distribute_lock 节点，最终成功创建的那个客户...

2018-11-01 10:51:02 504

cqacry2798的博客